大语言模型的剪枝方法、装置、存储介质及计算机设备

本申请涉及大模型和金融科技技术领域，公开了一种大语言模型的剪枝方法、装置、存储介质及计算机设备，该方法包括：获取待剪枝的大语言模型，确定所述大语言模型中的冗余层；提取所述冗余层的权重矩阵，并对所述权重矩阵进行奇异值分解，确定所述权重矩阵对应的多个奇异值；基于所述大语言模型对应的辅助校准数据集，计算每个奇异值对下游任务的性能影响，根据每个奇异值的性能影响确定多个奇异值中待保留的目标奇异值；根据所述目标奇异值对所述权重矩阵进行低秩分解，并将所述权重矩阵替换为低秩分解得到的低秩矩阵。实现了对大语言模型的剪枝补偿，在减少大语言模型的参数量的同时，保证了大语言模型的性能。