参数优化方法、装置、电子设备、存储介质及计算机程序产品

本申请公开了一种参数优化方法、装置、电子设备、存储介质及计算机程序产品，其中，方法包括：基于第一数量和第二数量，构建初始化列表；第一数量表征第一模型中的注意力头的数量，第二数量表征所述第一模型中的神经网络层数，第一模型为分离式大语言模型；初始化列表中包括一组或多组三维并行参数；通过模拟仿真平台，在初始化列表中一组或多组三维并行参数下，分别模拟运行第一模型，得到一组或多组三维并行参数中每组三维并行参数下的第一性能参数；基于一组或多组三维并行参数中每组三维并行参数下的第一性能参数，从一组或多组三维并行参数中确定出目标三维并行参数，目标三维并行参数用于在真实的GPU环境中部署第一模型。