摘要
本发明涉及情绪识别领域，公开了多模态信号融合情绪识别方法，包括以下步骤：S1，初始化多模态全局模型，所述模型包含视觉处理分支、语音处理分支和生理信号处理分支；S2，向终端设备分发模型参数，接收终端设备基于本地数据生成的噪声化参数更新；S3，根据终端设备的数据量计算聚合权重，对噪声化参数更新进行加权平均以更新全局模型；S4，验证更新后模型的分类准确率，若低于预设阈值则触发特征压缩指令；S5，动态调整隐私保护强度，每轮迭代降低隐私预算并增大噪声量。通过差分隐私机制对终端设备的本地参数更新添加拉普拉斯噪声，并结合动态调整隐私预算与噪声量的策略，在联邦学习框架下实现多模态数据的隐私保护。
