用于大模型的测评方法、装置、设备及介质

本公开提供了用于大模型的测评方法、装置、设备及介质，所述方法包括：根据用户指定的测试条件，生成多种格式的测试数据；对要测试的硬件平台上部署的具有固定大模型框架的大模型输入测试数据，以使所述大模型针对所述测试数据进行推理；在所述大模型针对所述测试数据进行推理直到输出推理结果的过程中，统计或计算多个测试指标；根据所述多个测试指标，评价所述硬件平台的推理性能，其中，所述多个测试指标至少包括进行所述推理占用的所述硬件平台的存储资源和功耗。由此，能够将测试数据的生成过程与大模型的推理过程隔离，使得测试程序能够高效且低成本地适用于任何硬件平台、任何大模型框架和任何大模型。