基于跨域边缘设备协同的大模型推理方法及装置

本发明公开一种基于跨域边缘设备协同的大模型推理方法及装置，方法包括：基于分布式哈希表动态感知多个工作节点中图形处理器的可用资源情况，根据所述可用资源情况将大模型分块分配至所述工作节点；所述可用资源情况表征未分配的工作节点集；接收用户推理请求，所述推理请求中至少包括一个或多个推理任务；基于所述工作节点分配的大模型分块，将所述推理任务分配至一个或多个管理节点；每个所述管理节点所在区域包括一个工作节点集；所述管理节点将所述推理任务分配至本区域的所述工作节点集以进行推理；所述工作节点集包括多个工作节点。通过上述方法及装置不仅可以提升分布式推理任务的效率，还能实现资源的灵活分配和系统的高可靠性。