一种自适应语义感知的大语言模型隐私保护方法及设备

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种自适应语义感知的大语言模型隐私保护方法及设备
申请号:CN202510014381
申请日期:2025-01-06
公开号:CN120068141A
公开日期:2025-05-30
类型:发明专利
摘要
本发明公开了一种自适应语义感知的大语言模型隐私保护方法及设备,其中方法包括:大语言模型服务提供商将大语言模型分解为底部嵌入层模型和其他部分,分别部署在客户端和服务器端;在预训练阶段,客户端训练一个生成器和一个采样器。生成器包括可学习的文本嵌入层和门控循环单元,能够生成与原文本相似且语义接近的文本序列。采样器自适应地选择需要替换的文本位置及其替换词,逐步逼近原文本的语义嵌入;在增强训练阶段,预训练的生成器与基于Transformer的判别器进行对抗训练,同时采样器生成语义近似的文本,引导生成器生成更加真实和符合语义的样本;经过训练的生成器生成扰动嵌入,服务器端接收这些扰动嵌入进行微调或推理等操作。
技术关键词
隐私保护方法 采样器 门控循环单元 语义 文本 客户端 大语言模型 阶段 数据分布 样本 序列 线性 定位器 电子设备 参数 索引 存储器 训练集 处理器