基于分段稀疏编码的联邦训练方法、装置、设备及介质

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
基于分段稀疏编码的联邦训练方法、装置、设备及介质
申请号:CN202511374158
申请日期:2025-09-25
公开号:CN120874972A
公开日期:2025-10-31
类型:发明专利
摘要
本发明涉及人工智能技术领域,可应用于金融科技及医疗健康等业务场景中,公开了一种基于分段稀疏编码的联邦训练方法、装置、设备及介质,包括:客户端获取低秩自适应参数并划分参数分段,每轮训练确定参数分段标识,结合历史残差执行稀疏处理,生成残差和稀疏分段,编码上传服务器;服务器对同标识的分段按样本量加权聚合并下发;客户端融合全局与本地分段,更新低秩自适应参数并存储残差,完成训练;完成预设轮次后,将更新参数与预训练模型集成形成微调模型,处理任务输入数据生成结果。本发明通过分段稀疏压缩和加权聚合降低通信负担,指数衰减融合提升适配效果,在通信受限和隐私敏感环境中兼顾训练性能与效率。
技术关键词
分段 联邦训练方法 参数 客户端 标识 层次结构信息 压缩编码数据 预训练语言模型 元素 注意力 指数 训练装置 矩阵 神经网络架构 动态 计算机设备 归一化模块 融合全局 人工智能技术