基于联邦学习的大语言模型的数据处理方法及装置

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
基于联邦学习的大语言模型的数据处理方法及装置
申请号:CN202511056815
申请日期:2025-07-30
公开号:CN120597970A
公开日期:2025-09-05
类型:发明专利
摘要
本申请适用于人工智能技术领域,提供一种基于联邦学习的大语言模型的数据处理方法及装置,其中方法包括:对大语言模型进行分解,得到适配器和模拟器;对所述模拟器进行层压缩处理,得到压缩模拟器,将所述适配器和压缩模拟器部署至多个客户端;获取各个所述客户端基于本地数据集对所述适配器训练后上传的适配器参数;对所述适配器参数中的通用适配器参数执行全局聚合,将所述适配器参数中的个性化适配器参数进行分组聚合,得到聚合后适配器参数;将所述聚合后适配器参数输出至所述客户端。该方案能够实现隐私保护,保留个体用户偏好。
技术关键词
模拟器 通用适配器 参数 大语言模型 客户端 数据处理方法 数据处理装置 服务器 人工智能技术 输出模块 记忆 蒸馏 项目 聚类 模板 编码