基于多模态多粒度提示的小样本语义分割方法及系统

本发明属于计算机视觉语义分割技术领域，公开了一种基于多模态多粒度提示的小样本语义分割方法及系统，包括获取训练数据集；对查询图像和类别描述进行操作获得多模态特征，基于多模态特征获得文本提示；分别对支持图像和查询图像进行编码，获得支持视觉特征和查询视觉特征，基于原型表征、查询视觉特征和伪掩码获得密集视觉提示；获得支持令牌和查询令牌，基于支持令牌与查询令牌获得稀疏视觉提示；将查询图像输入SAM编码器中获得查询特征，基于上述提示对查询特征进行解码，生成最终的分割结果。本发明克服了现有方法的局限性，借助多模态和多粒度的丰富参考信息实现了精准的分割。