基于动态提示信息的缺失模态的多模态图像识别方法

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
基于动态提示信息的缺失模态的多模态图像识别方法
申请号:CN202410716518
申请日期:2024-06-04
公开号:CN118692156B
公开日期:2025-06-10
类型:发明专利
摘要
本发明公开了一种基于动态提示信息的缺失模态的多模态图像识别方法。本发明提出了两个创新点:(1)本发明针对的是在训练和测试阶段均缺失的场景下,使模型更具鲁棒性,能够更好地适应真实生活中多变的条件。(2)本发明提出了动态提示信息的融合模块,增强了剩余模态间充分的交互,提升了多模态识别任务性能。并且可以根据识别样本的难易程度,动态选择融合模块,融合未缺失的模态信息,提高模型对复杂情境的应对能力。
技术关键词
特征提取网络 掌静脉图像 加权特征 图像识别方法 融合特征 动态 多模态 更新模型参数 注意力 融合策略 数据 非线性 标签 模块 鲁棒性 训练集 通道 样本 场景