混合专家模型的专家并行计算方法和计算机程序产品

本申请公开了一种混合专家模型的专家并行计算方法和计算机程序产品，属于人工智能技术领域。所述方法包括：基于各专家子网络处理的输入数据块以及多个专家子网络对应的专家标识序列，获取各输入数据块在全局序列中的存储地址；基于各专家子网络在专家标识序列中的出现次数和各输入数据块对应的存储地址，获取各计算卡上部署的所有专家子网络处理的输入片段；基于各计算卡对应的输入片段为各计算卡分配目标显存空间；控制各计算卡上部署的各专家子网络从各计算卡对应的目标显存空间中读取需处理的输入数据块，并对需处理的输入数据块进行计算得到各计算卡输出的子结果数据；对至少一个子结果数据进行融合处理得到混合专家模型输出的目标结果数据。