一种基于消费级异构芯片的人工智能模型动态推理方法及系统

本发明公开了一种基于消费级异构芯片的人工智能模型动态推理方法及系统，涉及人工智能与计算机处理技术领域。该方法在集成CPU、GPU及NPU的异构处理器上运行，通过实时监测负载、温度及可用内存等硬件状态，结合AI模型层级结构与算子特性，将推理计算任务动态分配至最优处理单元，即CPU负责任务编排与串行逻辑，GPU执行大规模并行计算，NPU处理优化的神经网络层，并协同整合结果。系统采用动态推理引擎，实现资源受限设备上大型AI模型的高效、低能耗运行，提升响应速度并保护本地数据隐私，适用于各类需要AI能力的消费电子产品。