摘要
本发明公开了一种多模态数据自动化处理与信息提取方法，属于数据处理技术领域。包括根据业务场景下的原始训练数据，建立原始知识库；对原始知识库中的原始多模态数据进行预处理，得到预处理知识库；将预处理知识库输入到知识检索单元；将待查询文本转化为查询向量，计算查询向量与知识检索单元中的知识融合向量表示向量之间距离，通过近似最近邻索算法，得到检索结果；通过跨模态Transformer模型对检索结果进行多模态数据融合，将融合后的语义与用户查询结合生成答案。本方法能够处理文本、图像、音频和视频等多种模态的数据，通过视觉语言模型进行多模态融合与推理，实现信息的准确提取和结构化存储，提高数据分析与挖掘的效率和质量。
