一种利用分割和负匹配的全局和组件细粒度食谱检索方法

本发明公开了一种利用分割和负匹配的全局和组件细粒度食谱检索方法，属于食品计算中的食品跨模态检索技术领域。本发明在提取食物图像的全局特征时，结合SAM模型提取主要食物特征，在提取食谱的全局特征时同时保留标题、配料、指令三个的组件特征，之后设计了动态负匹配‑三元组联合损失函数：在全局层面利用食物图像和食谱的全局特征基于蒙特卡洛采样优化跨模态不匹配样本间距，利用组件层特征构建标题/配料/指令的细粒度负匹配损失以强化语义区分，并通过分割的主要食物特征与食谱配料特征的相似性矩阵约束对齐误差。通过以上方法有效解决了传统方法存在文本冗余干扰和图像背景噪声以及组件语义混淆等问题，进一步提高了检索召回率。