基于Lora与双适配器的个性化联邦学习系统

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
基于Lora与双适配器的个性化联邦学习系统
申请号:CN202510139572
申请日期:2025-02-08
公开号:CN120087496A
公开日期:2025-06-03
类型:发明专利
摘要
本发明公开了一种基于Lora和双适配器的个性化联邦学习系统,客户端配置有个性化适配器和本地适配器,而服务器端则配置有聚合模块。实现步骤S1、修改模型结构,添加Lora层;S2、加载预训练模型,初始化微调参数;S3、服务器随机选择客户端,发送微调参数至选定的客户端;S4、本地适配器利用服务器发送而来的参数进行更新,并利用本地数据进行微调训练,将结果发送至服务器;S5、个性化适配器利用服务器发送而来的参数及本地数据进行微调训练;S6、服务器聚合来自客户端的微调参数,并更新;S7、判断模型是否收敛,若收敛,则结束,否则返回S3。本发明显著提高了个性化联邦学习模型训练的效率,大幅提升了个性化模型的泛化性及鲁棒性。
技术关键词
联邦学习系统 适配器 客户端 服务器 随机梯度下降 预训练模型 联邦学习模型 箭头 正则化参数 数据 模块 鲁棒性 矩阵 算法
系统为您推荐了相关专利信息
全景视频流 交互式教学 网络计算机 视频采集模块 视频压缩算法
拦截器 加密方法 字段 识别敏感信息 后台服务器
信标 推送方法 数据存储模块 数据处理模块 终端设备
服务缓存方法 服务器 缓存策略 LRU算法 GCN模型
分布式数据库系统 物联网设备 传感器 系统状态变化 数据采集频率