一种基于实例级软标签对齐的跨模态实例检索方法

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种基于实例级软标签对齐的跨模态实例检索方法
申请号:CN202511262323
申请日期:2025-09-05
公开号:CN120744162B
公开日期:2025-12-09
类型:发明专利
摘要
本发明公开了基于实例级软标签对齐的跨模态实例检索方法,涉及多媒体检索技术领域,包括如下步骤:S100、数据集准备;S200、特征提取;S300、实例特征集合生成;S400、软标签生成;S500、特征对齐;S600、损失函数整合;S700、模型训练完成;S800、跨模态实例检索。本发明引入了实例级特征的对齐机制,通过实例发现与软标签引导,提升了模型对局部细粒度语义和实例信息的理解能力,不仅有效提高了跨模态检索的匹配精度,还扩展了模型在跨模态实例检索任务中的应用范围,进一步增强了多场景适用性和实用价值。
技术关键词
实例检索方法 图像全局特征 语义特征 图像编码器 文本编码器 标签 全局视觉特征 跨模态 联合损失函数 图像块 全局特征提取 多媒体检索技术 预训练模型 序列 线性 注意力机制 样本