基于多模态交互的智慧黑板交互控制方法及系统

本发明提出基于多模态交互的智慧黑板交互控制方法及系统，方法包括：采集教室多模态数据，构建联合特征矩阵；采集学生教室行为，构建空间行为图谱，并将所述空间行为图谱通过图卷积层转化为空间行为特征；将所述联合特征矩阵和空间行为特征进行特征融合，生成联合特征，输入预构建的LSTM‑MLP中，输出教师意图概率分布，选取最大概率意图作为教师意图，表示教师的实时控制意图；根据所述教师意图和空间行为特征生成结构化内容树；将教师意图与结构化内容树中的节点进行绑定，同时空间行为特征作为触发条件，生成控制策略向量。本发明能够自适应多变的教学环境，全面提升智慧黑板的智能化水平和应用价值。