摘要
本发明是一种多模态模拟诊疗数据采集方法，属于模拟诊疗多模态数据采集。以实现对模拟诊疗过程中被试者情绪和行为的准确理解，用于医护人员模拟诊疗培训等。该方法包括多模态数据采集、特征提取、特征融合以及行为感知四个部分。数据采集部分包括语音数据和视频/图像数据的采集；特征提取部分包括对音频、文本和动作进行深度学习的特征提取；特征融合部分对提取的各类特征进行整合；行为感知部分基于整合的特征进行情感和行为的识别。此外，本发明还包括对识别结果的储存和评估，以便进行进一步的使用和研究。本发明有助于医疗行业的智能化和精准化的发展，对医疗人员培训和医学研究具有重要价值。
