指令监督微调的自适应数据配比方法及装置

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
指令监督微调的自适应数据配比方法及装置
申请号:CN202510287685
申请日期:2025-03-12
公开号:CN120353889A
公开日期:2025-07-22
类型:发明专利
摘要
本申请实施例提供指令监督微调的自适应数据配比方法及装置,涉及人工智能技术领域。该方法对于参考语言模型,基于对于任务类型的基线权重区间进行至少一轮的参数搜索得到配比参数,根据每个任务类型的配比参数得到参考语言模型的任务配比,对参考语言模型的模型参数量和对应的任务配比进行模型拟合得到比例预测模型,基于目标大语言模型的模型参数量,利用比例预测模型进行预测得到目标任务配比。通过对多个小参数量的模型进行任务配比的最优搜索,生成多组模型参数量与任务配比的数据对,以此训练比例预测模型,对大规模参数的目标大语言模型进行自动预测获得可靠性较高的目标任务比例,显著提升指令监督微调的性能和效率。
技术关键词
配比方法 大语言模型 样本 参数 指令 基线 数据 策略 性能预测模型 配比装置 人工智能技术 邻域 搜索模块 复杂度 电子设备 处理器 度量 存储器 标签