基于多模态负原型的小样本开集识别方法、系统及介质

本发明公开了基于多模态负原型的小样本开集识别方法、系统及介质，将开集小样本任务的查询集中多个样本输入到小样本开集识别模型中，进行闭集分类和开集识别；小样本开集识别模型的训练过程为：获取查询集样本图像和支持集样本并分别提取得到支持样本视觉特征、查询样本视觉特征和支持语义特征；将支持样本视觉特征和支持语义特征输入到特征融合网络中，得到多模态类别原型；对多模态类别原型和多模态开放权重进行注意力机制运算输出多个多模态负原型；计算每个查询样本视觉特征与每个多模态负原型之间的相似度并取最大相似度的多模态负原型作为每个查询样本的最佳负原型；该小样本开集识别方法提高了小样本识别稳定性和准确度。