摘要
本发明公开了一种自适应语义感知的大语言模型隐私保护方法及设备,其中方法包括:大语言模型服务提供商将大语言模型分解为底部嵌入层模型和其他部分,分别部署在客户端和服务器端;在预训练阶段,客户端训练一个生成器和一个采样器。生成器包括可学习的文本嵌入层和门控循环单元,能够生成与原文本相似且语义接近的文本序列。采样器自适应地选择需要替换的文本位置及其替换词,逐步逼近原文本的语义嵌入;在增强训练阶段,预训练的生成器与基于Transformer的判别器进行对抗训练,同时采样器生成语义近似的文本,引导生成器生成更加真实和符合语义的样本;经过训练的生成器生成扰动嵌入,服务器端接收这些扰动嵌入进行微调或推理等操作。