一种基于多模态理解驱动智能装置情感交互方法

本发明涉及数据处理技术领域，尤其涉及一种基于多模态理解驱动智能装置情感交互方法，通过环境自适应采集模块消除光照与噪声干扰，输出标准化面部视频流、有效语音片段及触觉热力图。特征提取模块提取面部动作光流特征、语音梅尔频率倒谱系数向量及触觉压力梯度参数。跨模态关联模型采用张量分解算法计算视觉与语音特征的时空关联矩阵，结合环境参数动态调节触觉特征权重。响应策略基于图数据库检索干预方案，融合情绪确认语句、引导语句及行为建议生成多模态响应，同步驱动温控装置PID调节与振动装置触觉脉冲输出。反馈评估模块通过皮尔逊相关系数验证情绪识别一致性，触发冲突样本分离存储及模型增量训练，实现闭环优化。