基于图注意力机制的对比学习无监督跨模态哈希检索算法
申请号:CN202411462869
申请日期:2024-10-19
公开号:CN119377462A
公开日期:2025-01-28
类型:发明专利
摘要
本发明公开了基于图注意力机制的对比学习无监督跨模态哈希检索算法,涉及跨模态检索技术领域。该基于图注意力机制的对比学习无监督跨模态哈希检索算法,通过预训练的CLIP模型对图像和文本数据进行特征提取,得到图像模态特征和文本模态特征,并通过数据增强生成额外的正样本;基于图注意力网络通过欧式距离和余弦相似度计算相似性,通过对比邻接矩阵,对正样本赋予高权重,对负样本赋予低权重。达到了能够有效融合图像和文本模态的特征,并将它们映射到一个共同的哈希空间,图注意力机制能够自适应地调整不同模态特征之间的连接权重,突出语义相关性强的样本,从而确保图像和文本之间的语义一致性的优点。
技术关键词
模态特征
检索算法
注意力机制
无监督
样本
文本
聚类方法
图像
跨模态检索技术
生成哈希
数据
参数
网络
随机噪声
语义特征
多模态