一种基于脉冲神经网络的自然语言处理方法及系统

本申请公开了一种基于脉冲神经网络的自然语言处理方法及系统，涉及自然语言处理技术领域，该方法基于脉冲神经网络和Transformer结构，构建得到包括依次连接的嵌入层、多步脉冲编码层、若干个脉冲Transformer层和预测头的自然语言处理模型，充分挖掘脉冲计算的能效潜力；随后基于保持神经元脉冲发放率稳定的原则，初始化自然语言处理模型中的参数，最后还基于知识蒸馏算法，将在任务集上训练好的人工神经网络模型中的知识，蒸馏到自然语言处理模型中，充分利用现有的人工神经网络模型的预训练，无需从零开始进行大规模的预训练过程，有效地将人工神经网络模型的知识蒸馏到脉冲神经网络模型中，避免了海量计算资源的耗费。