一种基于多模态提示引导的VisionTransformer图像篡改定位方法及系统

本发明公开了一种基于多模态提示引导的VisionTransformer图像篡改定位方法及系统，涉及计算机视觉、图像篡改定位以及自然语言处理交叉技术领域；利用LLaMA模型生成与待检测图像相关的文本提示，通过视觉特征提取器和文本特征提取器分别获取图像与文本的特征表示；随后，通过多模态交互提示模块实现跨模态特征的深度融合与对齐；最后，结合空间特征金字塔网络和多层感知器输出精准的篡改区域定位结果。本发明通过跨模态自注意力与交叉注意力机制实现视觉特征与文本语义的深度对齐，显著提升模型对篡改区域的语义关联理解；同时结合空间特征金字塔网络与轻量化SegFormer解码器，有效增强对多尺度篡改区域的捕捉能力，尤其在微小篡改和大区域伪造场景下表现更优。