一种NPU固件支持多模型快速切换的方法

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种NPU固件支持多模型快速切换的方法
申请号:CN202510274919
申请日期:2025-03-10
公开号:CN120216175A
公开日期:2025-06-27
类型:发明专利
摘要
本发明公开了一种NPU固件支持多模型快速切换的方法。本发明中,显著提升了多任务场景下的系统实时性与资源利用率。通过动态分层缓存策略与优先级调度机制,系统能够智能分配高速缓存资源,优先保障高频率、高紧迫性模型的快速加载,例如在自动驾驶场景中,路径规划模型的切换延迟可降至毫秒级,确保关键任务无感知切换。增量参数加载技术与固件级上下文管理深度融合,仅传输模型差异数据并利用硬件加速恢复计算状态,大幅减少传统全量加载带来的带宽浪费,使边缘计算设备在语音识别与图像处理等多任务并行时,模型切换效率提升10倍以上,同时保持计算精度无损。
技术关键词
多模型 固件 缓存策略 缓存命中率 上下文管理 内存碎片整理 事件监控单元 硬件资源利用率 连续地址空间 并行计算单元 多任务 混合预测模型 内存管理单元 CRC校验码 强化学习框架 数字签名验证 滑动窗口算法 缓存管理器 队列 优先级算法