一种用于小型设备的基于细粒度调度的深度学习模型内存优化方法

本发明一种用于嵌入式设备的基于细粒度调度的深度学习模型内存优化方法，属于深度学习模型领域。本发明输入深度学习模型DNN到分析器，分析器根据DNN中各个算子的TE分析该算子及其所依赖的算子的循环轴的连接关系，输出轴连接图ACG给优化器；优化器根据ACG搜索对DNN的切分方案，将DNN转换为细粒度的DNN，并对其进行调度；将细粒度DNN及其调度交给模拟器评估其内存占用，通过测量器获得其执行性能，将内存和性能数据反馈给优化器进行迭代搜索，以得到最优的细粒度DNN及其调度，据此生成DNN的执行代码，并编译部署在目标设备上。本发明在不超过5％的性能开销的前提下，能够显著优化众多流行深度神经网络DNN运行时的内存需求，拓宽了DNN在小型设备上的应用范围。