一种基于可信执行环境的边缘侧大模型安全推理方法

本发明涉及一种基于可信执行环境的边缘侧大模型安全推理方法，其主要由高效微调向量保护与随机适应头组合两模块组成。本发明极大地降低了大模型安全推理对安全内存的需求及计算复杂度，能在无任何模型敏感参数信息外泄的情况下起到显著的推理加速效果。本发明的方法包括：一、高效微调向量保护模块，利用可信执行环境保护基于随机低秩适应矩阵的微调向量推理过程。与在可信执行环境中推理相比，本发明在保证无敏感参数信息外泄的情况下，极大降低了安全内存需求与计算复杂度，并提高推理速度；二、随机适应头组合模块，在推理过程中实时推理。该方法能够基于线性组合实时变更可信执行环境内保护的参数信息，改变中间结果的分布特征，以此抵御强大的模型窃取攻击，有效地实现了黑盒推理。