一种多模型协同蒸馏与动态微调模型的训练方法及系统

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种多模型协同蒸馏与动态微调模型的训练方法及系统
申请号:CN202510033437
申请日期:2025-01-09
公开号:CN119443313B
公开日期:2025-04-29
类型:发明专利
摘要
本发明涉及计算机数据处理技术领域,具体涉及一种多模型协同蒸馏与动态微调模型的训练方法及系统;该方法包括,进行数据收集,未标注数据输入到模型制作为标注数据,并与已标注数据整合为一个数据集,再划分为训练集、验证集和测试集;训练集输入到模型中,提示词引导模型生成扩展数据,使用扩展训练集训练学生模型;学生模型在验证集上评估,评估结果表明学生模型评价指标未达到期望值,则错误信息输入模型进行分析和生成数据,再调整学生模型,直至学生模型的评价指标达到期望值;该方法优点为使用多个大语言模型进行协同蒸馏,训练数据更丰富多样化,学生模型更加准确,再通过循环动态微调学生模型,使得模型精准度更高以及适应性更强。
技术关键词
大语言模型 学生 训练集 多模型协同 动态 训练系统 蒸馏 数据处理模块 计算机数据处理技术 指标 生成答案 样本 模型训练模块 语言模块 文本 序列
系统为您推荐了相关专利信息
泊位 故障感知系统 数据管理平台 动态调度模型 机器人控制
个性化特征 列表 大语言模型 机器可读指令 文本
橄榄果实 气体调节系统 一体化设备 低温保鲜 低温控制系统
电网稳定控制方法 稳定控制系统 机组 无功电流 风光
数据库存储方法 键值 存储设备 多线程 图形处理单元