一种基于混合低秩适配器的异构数据训练方法和系统

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种基于混合低秩适配器的异构数据训练方法和系统
申请号:CN202410722391
申请日期:2024-06-05
公开号:CN118734903A
公开日期:2024-10-01
类型:发明专利
摘要
本发明涉及一种基于混合低秩适配器的异构数据训练方法和系统,方法包括以下步骤:获取异构数据集,并输入预先构建的神经网络模型中进行模型训练,以通过训练好的神经网络模型进行数据预测;所述神经网络模型包括配置有混合低秩适配器的卷积层,对配置有混合低秩适配器的卷积层,通过设置两个低秩因子描述低秩适配器的贡献权重,并配置一个共享的初始权重;并分别针对已知目标与未知目标的场景,提出基于梯度的混合低秩适配器与基于路由的混合低秩适配器。与现有技术相比,本发明算法所需计算开销更少,有着更好的鲁棒性与泛用性,且适用于大规模多任务学习场景。
技术关键词
数据训练方法 适配器 神经网络模型 异构 路由器 表达式 多层感知机 训练系统 场景 标识器 图像分割 因子 控制权 多任务 指示器 存储器 鲁棒性 处理器 文本