一种大语言模型的任务调度方法、装置、设备及存储介质

本申请公开了一种大语言模型的任务调度方法、装置、设备及存储介质，所述方法包括对大语言模型中的待切分张量进行张量切分，以得到CC张量、CG张量和GG张量；调度CC张量、CG张量和GG张量各自对应的硬件资源协同工作，以控制大语言模型执行任务。本申请通过将张量切分为运用不同硬件资源的CC张量、CG张量和GG张量，然后通过各硬件资源协同工作，以充分利用可用计算、内存和通信资源，这样可以在保证大语言模型的推理准确性的情况下，提高小型计算系统的推理效率。