一种基于梯度近似的大语言模型融合方法及系统

本发明提供了一种基于梯度近似的大语言模型融合方法及系统，其中方法包括以下步骤：获取语言文本数据样本；构建微调模型集合以及预训练模型，定义所述微调模型与所述预训练模型的差异值为任务向量；分别对所述微调模型集合以及所述预训练模型进行多种方式的运行，在不同运行方式下基于梯度计算所述任务向量的参数重要性评估结果；构建激活函数，结合激活函数以及参数重要性评估结果确定剪枝率；根据剪枝率完成所述微调模型集合的剪枝及融合，得到最终的微调模型；利用微调模型对所述语言文本数据样本进行处理，得到对应的处理结果；本发明在显著降低计算开销的同时，能够保持数据处理结果的可靠性。