一种情绪识别推理建模方法、装置、存储介质和程序产品

本发明提供一种情绪识别推理建模方法、装置、存储介质和程序产品，涉及类脑计算和多模态智能感知交叉技术领域。其中，情绪识别推理建模方法包括：构建模态感知编码器，将包括文本、语音、图像在内的原始多模态输入编码为统一格式的脉冲时间序列；构建模态融合模块，在嵌入SNN逻辑的脉冲自注意力机制中，使用LIF积分获得Spike特征，并保留事件驱动特性，建模模态间的长距离依赖关系，得到融合特征；构建情绪预测器，对融合特征进行统计处理，实现类别映射，继而得到情绪状态输出。本发明实现结构化的多模态融合机制，使不同模态之间能够在脉冲阶段即完成交互，避免仅在特征层拼接的浅层融合，提升模态间的协同表达能力。