一种大语言模型的评估方法、系统、设备及存储介质

本发明提出了一种大语言模型的评估方法、系统、设备及存储介质，该方法包括：构建样本数据集，样本数据集包括输入数据及其对应的参考答案，以及将输入数据输入至被评估模型中，生成输出结果；根据任务需求设计多维度的评估指标体系，并为各个评估指标分配动态权重，各个评估指标附有评分标准描述，评估指标包括上下文相关性、术语一致性、语言流畅度和表述准确性中的至少两项；将输入数据、参考答案、输出结果和评分标准描述组合为标准化输入指令，调用评估模型对标准化输入指令进行多维度评分，生成评估结果；根据预设阈值对评估结果进行分析，生成包含改进方向的结构化反馈建议。本发明能够有效支持大语言模型的快速优化和迭代。