模型资源部署方法、装置、设备、存储介质及程序产品

申请号：CN202411457993

申请日期：2024-10-18

公开号：CN119440812A

公开日期：2025-02-14

类型：发明专利

摘要

本申请公开了一种模型资源部署方法、装置、设备、存储介质及程序产品，涉及通信技术领域，以有效利用GPU资源。该方法包括：获取推理业务需求；根据所述推理业务需求，预估待部署的大模型所需的GPU资源；部署所需的GPU资源；在接收到推理任务的情况下，根据所述推理任务对部署的GPU资源进行调整。本申请实施例可以有效利用GPU资源。

技术关键词

资源部署方法业务时延需求 GPU显卡图形处理单元令牌处理器收发器计算机程序产品组网方式存储器集群通信设备可读存储介质批量规模模块消息