一种模型部署方法、装置、电子设备及存储介质

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种模型部署方法、装置、电子设备及存储介质
申请号:CN202411906645
申请日期:2024-12-23
公开号:CN119902777A
公开日期:2025-04-29
类型:发明专利
摘要
发明实施例提供了一种模型部署方法、装置、电子设备及存储介质,通过确定目标模型;对目标模型执行包括算子类型转换操作和内存分配策略优化操作,将目标模型转化为目标图表示;确定针对目标图表示的算子序列,以及针对算子序列的算子参数;基于算子序列和算子参数生成二进制文件,并将二进制文件发送至嵌入式端设备;嵌入式端设备被配置为:下载二进制文件,并创建用于解析二进制文件的自定义中间件;基于自定义中间件在无操作系统环境下加载并运行目标模型,实现了将为复杂操作系统设计的AI推理框架适配到资源受限、操作系统简化的嵌入式设备上,同时保证高效的内存利用率和推理性能。
技术关键词
操作系统环境 模型部署方法 中间件 内存 序列 参数 策略 节点 通信接口 电子设备 处理器 嵌入式设备 存储器 模块 指针 可读存储介质 数据 关系 队列