一种基于持续学习和迁移学习的预训练多模态语言推理模型的模态扩展方法

本发明提供一种基于持续学习和迁移学习的预训练多模态语言推理模型的模态扩展方法，属于多模态理解与语言交互技术领域。本发明主要利用构建的多模态语言推理模型进行语言推理，此后，在多模态语言推理模型的模态扩展过程中，借助可灵活扩展的多模态适配器组合模块解决模态扩展中的数据依赖问题，并引入迁移学习中的适配器微调和持续学习中的冻结‑激活策略解决计算负担和知识遗忘问题，最终解决了预训练多模态语言推理模型的模态扩展难题。