基于多模态大模型灵活关联控制的图像问答方法

本发明公开了一种基于多模态大模型灵活关联控制的图像问答方法，首先生成图像和对应文字描述的非关联性特征表示，然后生成图像和定制提示的关联性特征表示，计算每层非关联性特征表示和关联性特征表示的余弦距离，并根据余弦距离筛选得到关键层，对于每个关键层，通过其非关联性特征表示和关联性特征表示计算关联控制向量，在进行图像问答时，在关键层中应用对应的关联控制向量对生成特征表示进行关联控制，从而实现对多模态大模型的创造力和幻觉水平的动态控制。本发明采用灵活关联控制策略，无需额外训练就能高效地动态调节多模态大模型的关联能力，从而解决图像问答任务中的模型幻觉问题，显著增强了图像问答的准确性和创造性。