知识蒸馏方法、电子设备及计算机可读存储介质

本申请公开了一种知识蒸馏方法、电子设备及计算机可读存储介质，涉及人工智能技术领域，包括通过基于学生网络的初始网络结构中注意力头的数量对教师网络的注意力图矩阵进行分组，能够将教师网络高维注意力空间划分为与学生网络同维度的子空间，通过对组内的注意力图矩阵进行拼接，使每组拼接矩阵与初始网络结构的注意力头形成对齐，实现教师网络与学生网络注意力图之间较为规整的对应关系，从而能够计算蒸馏损失，实现将复杂教师网络的知识准确传递给轻量级学生网络。因此，可以解决多头注意力机制中教师网络与学生网络头数的差异，阻碍学生网络对教师网络知识的充分学习的问题，达到提高知识蒸馏效果，增强学生网络性能的技术效果。