加速卡部署方法、装置、设备、存储介质和程序产品

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
加速卡部署方法、装置、设备、存储介质和程序产品
申请号:CN202510897024
申请日期:2025-06-30
公开号:CN120407200B
公开日期:2025-09-16
类型:发明专利
摘要
本申请公开了加速卡部署方法、装置、设备、存储介质和程序产品,涉及人工智能技术领域,本申请的方法中,一方面,基于目标模型运行过程中的存储占用量,确定运行目标模型所需的加速卡数量,这样,可以保证加速卡的存储容量之和与目标模型的存储占用量相匹配。另一方面,依据加速卡数量,构建多个加速卡拓扑架构,并基于各个加速卡拓扑架构运行目标模型时的模型性能指标,选择模型性能指标符合预设条件的第一加速卡拓扑架构作为部署加速卡的架构参考,这样,在加速卡中运行目标模型时,可以保证目标模型的性能满足期望的性能要求。基于以上两个方面,可以解决相关技术中的模型的硬件资源配置与计算需求不匹配的问题。
技术关键词
加速卡 令牌 非易失性可读存储介质 服务器 中央处理器 注意力机制 序列 键值 硬件资源配置 通信带宽 参数 冗余 存储计算机程序 人工智能技术 计算机程序产品 模块 电子设备