基于多模态对比学习的多视角专注度识别方法及系统

本发明提供基于多模态对比学习的多视角专注度识别方法及系统，包括：构建涵盖行为维度、情感维度及认知维度的专注度视觉属性集；利用大语言模型对专注度视觉属性集生成描述专注度类别的类特定提示及描述单帧视觉特征的帧特定提示；基于类特定提示和帧特定提示，作为文本编码器输入，结合视频编码器预设的提示，输出多模态特征；对多模态特征，执行视频到文本的对齐和文本到视频的对齐，计算全局和局部对齐相似度分数；基于全局和局部对齐相似度分数，构建对比损失函数，完成识别。