基于多模态大模型的关键信息提取方法及系统

本发明公开了基于多模态大模型的关键信息提取方法及系统，属于信息处理技术领域，该基于多模态大模型的关键信息提取方法及系统，包括下述具体步骤：步骤一：对输入的异构模态数据进行标准化预处理，包括文本向量化、图像特征编码、语音频谱分析；步骤二：通过跨模态注意力机制建立模态间关联矩阵，动态调整各模态特征权重；步骤三：采用分层特征提取架构，依次执行上下文语义理解、实体关系建模、核心信息定位。本发明通过动态权重分配实现模态间特征的智能选择，在噪声干扰场景下大大提高了关键信息召回率，引入特征蒸馏损失函数，消除冗余特征后，在嘈杂语音与低分辨率图像共存场景下，有效降低错误传播率。