基于多模态大模型的视觉问答方法及相关装置

本申请涉及人工智能技术领域，公开一种基于多模态大模型的视觉问答方法及相关装置。该方法包括：获取原始图像和针对原始图像的提问信息；对原始图像进行视觉特征编码处理，得到第一特征向量序列；对第一特征向量序列进行图像特征提取处理和基于图像特征提取结果的图像特征压缩处理，得到第二特征向量序列；采用残差矢量量化方法，利用语义特征向量集对第二特征向量序列进行特征替换处理，得到第三特征向量序列；对第三特征向量序列进行特征解码处理，得到重构图像；结合多模态知识库中的知识内容信息，对重构图像和提问信息进行问答预测处理，得到提问信息对应的回答结果。本申请实施例可以提高视觉问答的问答精度和知识推理精度。