摘要
发明实施例提供了一种模型部署方法、装置、电子设备及存储介质,通过确定目标模型;对目标模型执行包括算子类型转换操作和内存分配策略优化操作,将目标模型转化为目标图表示;确定针对目标图表示的算子序列,以及针对算子序列的算子参数;基于算子序列和算子参数生成二进制文件,并将二进制文件发送至嵌入式端设备;嵌入式端设备被配置为:下载二进制文件,并创建用于解析二进制文件的自定义中间件;基于自定义中间件在无操作系统环境下加载并运行目标模型,实现了将为复杂操作系统设计的AI推理框架适配到资源受限、操作系统简化的嵌入式设备上,同时保证高效的内存利用率和推理性能。