一种大语言模型训练加速方法

本发明提供一种大语言模型训练加速方法，包括以下步骤：对大模型的不同网络层进行数学建模，分析对应层的参数量，计算不同层的计算量：模型参数量是指一个神经网络或机器学习模型中可以进行学习和调整的参数的数量，这些参数包括权重和偏置，它们在训练过程中会不断地更新以优化模型的性能，模型计算量以FLOPs表示浮点数运算次数，衡量了计算量的大小。本发明提供的本发明提供一种大语言模型训练加速方法，能够对大模型训练中的资源占用进行准确评估，进一步分析以找到大模型训练中的瓶颈，并帮助研究者门提出大模型加速训练方法，对于大模型领域的分析和优化训练具有重要意义。