基于状态空间模型的抑郁症多模态检测方法及装置

本发明公开一种基于状态空间模型的抑郁症多模态检测方法及装置，该方法读取被测者的面部视频序列和音频序列作为输入数据；提取空间特征，形成视频空间特征向量与音频空间特征向量；采用基于Mamba架构的状态空间模型对时序特征学习，得到视频时序特征向量与音频时序特征向量；运用多模态融合模块对空间特征与时序特征进行联合分析，先拼接生成多模态的时空特征向量，再通过自注意力机制实现动态加权的特征融合得到融合特征；经由输出模块基于融合特征，通过多层全连接网络处理后生成最终的抑郁症检测结果。本发明解决现有抑郁症检测方法处理长序列数据时信息丢失、多模态整合不足、真实场景适应性差，导致诊断准确性和鲁棒性不足的问题。