端侧模型调用系统、方法及计算机可读存储介质

一种端侧模型调用系统、方法及计算机可读存储介质。基于端侧模型调用系统，只有主核心收到授权通知时，才基于NPU内部的加密引擎对加密的端侧模型参数进行解密操作，即在一般状态下端侧模型参数以加密形式存在，可以保证端侧模型参数的安全；由加密引擎提供解密运算，能缩短响应时间；另外，基于防火墙以及NPU内部的SMAC可以为神经网络模型运算提供高带宽及高容量的安全内存，以供神经网络模型的运算效率大于预设效率。即通过本申请实施例，兼顾了端侧模型参数安全与端侧模型推理运算性能。