一种基于计算共享的深度学习推理加速方法

本发明属于人工智能技术领域，具体公开了一种基于计算共享的深度学习推理加速方法。本发明基于动态计算共享的技术架构，主要从计算任务细粒度分解与共性子图抽取，构建共享隐变量驱动的计算共享分层缓存，计算共享负载进行均衡调度以及计算共享策略的闭环预测反馈机制等，对深度学习模型进行优化，提高计算子图和算子级的复用能力、前向推理权重的缓存命中率，并支持动态子图划分与迁移，从而提高了典型模型的加速比和资源利用率。结合并行计算、动态资源调度和计算资源共享机制，优化异构计算环境下的推理效率。