一种基于CLIP目标感知双重提示学习的开集识别方法

本发明公开了一种基于CLIP目标感知双重提示学习的开集识别方法，包括：一、构建可学习的语义原型提示；二、构建可学习的视觉原型提示；三、设计目标感知增强模块，利用训练集获取目标感知已知类样本集和困难伪未知类样本集，同时配备数据自适应机制；四、设计损失函数对模型进行训练；五、利用视觉语义联合推断得分进行开集识别。本发明将已知类的视觉原型融入了基于CLIP提示学习的开集识别方法，弥补了仅仅依赖语义提示的局限。此外，本发明所提出的目标感知增强模块消除了图像背景的干扰，同时可缓解CLIP训练数据与开集识别目标任务数据之间的分布偏移，使模型为已知类学习更加紧凑的决策边界。