基于多模态缺失数据的情感识别方法、装置、设备和介质
申请号:CN202511129153
申请日期:2025-08-13
公开号:CN120654201B
公开日期:2025-11-11
类型:发明专利
摘要
本公开的实施例公开了基于多模态缺失数据的情感识别方法、装置、设备和介质。该方法的一具体实施方式包括:生成多模态情感数据序列集;执行以下步骤:得到对应多模态情感数据的文本模态特征信息、音频模态特征信息和视频模态特征信息;生成对应多模态情感数据的多模态情感融合特征信息;构建多模态时序关系矩阵和说话人关系矩阵;生成多模态图特征信息;生成重建文本卷积特征、重建音频卷积特征和重建视频卷积特征;生成重建融合特征信息;生成多模态情感识别结果;将所生成的各个多模态情感识别结果发送至用户终端。该实施方式可以提高情感识别时的准确率,可以减少识别时的计算资源浪费。
技术关键词
卷积特征
情感识别模型
融合特征
多模态情感识别
样本
视频特征信息
音频特征信息
文本
数据
情感识别方法
多模态特征
分类网络
矩阵
序列
关系
时序