一种基于PMI文本增强的联合表征心理状态评估方法及系统
申请号:CN202411942150
申请日期:2024-12-27
公开号:CN119833119A
公开日期:2025-04-15
类型:发明专利
摘要
本发明公开了一种基于PMI文本增强的联合表征心理状态评估方法及系统,涉及心理评估技术领域,其中所述的方法包括如下步骤:S1:构建心理状态评估模型的训练样本集;S2:对采集的视频数据、语音数据和文本数据进行预处理,并提取各模态深层特征,并构建文本表达的PMI矩阵;S3:利用文本PMI矩阵优化文本模态的注意力机制,并构建三重注意力融合机制,实现被测者多模态深层特征的融合;S4:通过多模态融合特征对心理状态评估器进行训练,通过调整参数得到心理状态评估模型;S5:通过心理状态评估模型进行心理评估。本发明的方法,在缺失某些模态数据的情况下,仍然能够保持较高的评估准确性。
技术关键词
心理状态评估方法
文本
音频
融合特征
注意力机制
多模态
矩阵
视频
训练样本集
多层感知机
模型训练模块
心理评估技术
Softmax函数
数据采集模块
面部表情识别