一种基于预训练模型的自适应融合多模态数据集识别方法

本发明公开了一种基于预训练模型的自适应融合多模态数据集识别方法，涉及深度学习领域中的多模态学习和类增量学习技术领域。本发明提出基于专家混合的参数高效微调方法和一个自适应加权融合模块能够动态适应增量场景，避免发生灾难性遗忘。同时利用文本增强技术和新提出的损失函数，使模型能够在类增量过程中取得更好的分类性能。此外，本发明在类增量学习过程中是不需要存储旧数据的，因此不会涉及隐私问题，并且模型的参数量较小，实现的几种经典类增量学习方法相比，本发明在智慧课堂场景数据集上获得了更优的分类性能。