一种基于视觉内容注意力头的多模态模型编码加速方法

本发明公开了一种基于视觉内容注意力头的多模态模型编码加速方法，本发明的方法包括为输入图片的每个字符匹配图像中的文字区域；根据多模态模型视觉编码的方式确定文字区域对应的视觉令牌，以基于视觉令牌在注意力得分矩阵中的值得到视觉注意力头得分；根据视觉注意力头得分为每个注意力头分配不同的缓存预算，以得到对应注意力头的缓存结果。本发明提高多模态模型的推理速度，效压缩了视觉内容的编码长度，进一步提高多模态模型的推理速度并降低缓存开销。