一种基于动态多教师模型和结构化关系的知识蒸馏方法

一种基于动态多教师模型和结构化关系的知识蒸馏方法，主要内容为一种新型的知识蒸馏方法，通过多个教师模型训练学生模型，并根据教师模型的性能效果为教师模型分配动态的权重来指导学生模型的训练；同时引入结构化关系来辅助训练，通过让学生模型学习教师模型样本输出的空间关系，来提高训练效果。本发明相对于传统的多教师模型，解决了训练学习单一性，盲目性，平均性的特点，根据教师模型优劣进行动态调整学习权重，具有更好的训练效果；同时引入了样本空间关系作为知识进行学习，解决了传统知识蒸馏方法仅依赖响应学习知识的单调性，使学生模型学习到更丰富的知识，提高了学生模型性能。