一种面向神经网络模型部署的内存管理方法、装置及介质
申请号:CN202510286472
申请日期:2025-03-11
公开号:CN120315857A
公开日期:2025-07-15
类型:发明专利
摘要
本发明实施例公开了一种面向神经网络模型部署的内存管理方法、装置及介质;方法包括:按照需求对已训练的、待部署的深度学习模型进行解析,得到计算图;按照模式将其拆分为若干计算子图;选取内存管理策略,得到子图内存调度方案;对其进行整合,得到整体内存调度方案。实施本发明实施例所提供的内存管理方案,通过对计算图进行切分,划分为多个计算子图,通过对计算子图使用不同的内存管理策略得到局部最优的内存管理方案,增加了内存调度的搜索空间,进而得到比使用单一策略更优的、全局内存管理方案,减少了深度学习内存占用量,提高了芯片内存资源的利用率,使得用户可以在不改变芯片配置的前提下,部署更加复杂的深度学习模型。
技术关键词
面向神经网络模型
内存管理方法
管理策略
深度学习模型
内存管理装置
节点
输入设备
内存占用量
处理器
可读存储介质
存储计算机程序
解析单元
存储器
指令
数据
模式
芯片