一种大语言模型量化质量评估方法及设备

本申请公开了一种大语言模型量化质量评估方法及设备，方法包括：根据原始大语言模型准确率与量化大语言模型准确率，确定量化大语言模型的准确率系数；根据原始大语言模型文件大小与量化大语言模型文件大小，确定所述量化大语言模型的压缩系数；根据原始大语言模型显存占用大小与量化大语言模型显存占用大小，确定所述量化大语言模型的显存占用系数；根据所述准确率系数、所述压缩系数与所述显存占用系数，对所述量化大语言模型进行评估。确保量化后的大语言模型在性能和存储上的平衡，且也确保模型在不同环境下稳定运行。