基于对比掩码跨模态哈希学习的降质图像-文本检索方法

本发明公开了一种基于对比掩码跨模态哈希学习的降质图像‑文本检索方法，该方法为：首先使用随机增强策略对数据进行增强，使用块级掩码策略处理强增强数据，获得图像和文本的增强视图和掩码视图；然后分别提取图像和文本特征，经过交叉注意力模块后输入哈希层得到图像和文本的哈希码；采用多模态对比损失和基于代理的相似性度量损失，利用原始数据特征语义信息重建被掩码数据特征，设计语义掩码重建交叉熵损失，并加入量化损失，确定总体目标函数，通过反向传播更新模型参数；最后使用训练好的模型参数，进行降质图像‑文本检索。本发明提升了在图像模糊、文本缺失等复杂场景下的跨模态检索的精度。