摘要
本发明公开了一种面向大模型评估的整体步骤、模型调用及数据集加载方法，包括S1、设定评测参数；S2、解析接收到的待评测模型的名称，通过预设的解析规则获取模型的详细标识、权重保存路径以及确定待评测的任务类型和所需数据集的详细信息；S3、根据解析得到的信息，调用模型加载功能，加载指定模型及其权重；S4、调用数据集加载功能，根据解析得到的数据集名称、模型权重路径和数据集路径；S5、利用步骤S3中配置好的模型接口，对步骤S4中准备好的数据集执行评测算法，评估模型在指定任务上的性能；S6、收集和拼接所有评测结果。本发明能够有效解决大模型评测中的多种挑战，为深度学习模型的研究和应用提供了重要的技术支持。
