预训练语言模型微调方法及其相关应用

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
预训练语言模型微调方法及其相关应用
申请号:CN202410814326
申请日期:2024-06-21
公开号:CN118863053A
公开日期:2024-10-29
类型:发明专利
摘要
提出了一种预训练语言模型微调方法及其相关应用。该方法包括:根据下游任务的训练样本构造分类训练样本;使用所述分类训练样本调整判断模型的参数;获取多个大语言模型对无标注查询的多个输出;使用经调整的判断模型从多个所述输出中确定与所述无标注查询匹配的输出;使用所述无标注查询和所述匹配的输出构造下游任务的辅助训练样本;以及使用所述辅助训练样本调整所述预训练语言模型的参数。本公开提供了一种在少量标注数据的条件下借助判断模型对多个大语言模型的输出进行筛选,进而构造辅助训练样本并由此实现大模型效果增强的方法。
技术关键词
预训练语言模型 大语言模型 微调方法 非暂时性机器可读存储介质 计算机程序指令 少量标注数据 参数 处理器 排序模型 计算机程序产品 样本 自然语言 电子设备 答案 文本 存储器