摘要
本发明公开了一种基于深度学习的课堂多模态数据处理方法及系统，旨在解决现有技术中，因数据源的全局异步、模态间的非线性时序关系以及对教学语义的缺乏感知，导致课堂多模态数据融合分析效果差的复合型技术问题。本发明的方法包括：获取课堂多模态数据流；执行创新的分层级跨模态时间对齐处理，该处理首先进行粗粒度全局对齐以校正设备间的初始时间偏移，然后执行细粒度局部对齐，其核心是采用一种创新的动态时间规整算法，对教师讲解重点、师生互动等语义关键片段赋予更高对齐权重，实现符合教学节律的非线性对齐；最后，对齐后的特征被送入融合网络生成统一融合特征向量。
