基于大语言模型的微调语料质量提升方法、装置及设备

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
基于大语言模型的微调语料质量提升方法、装置及设备
申请号:CN202410866438
申请日期:2024-06-28
公开号:CN118839770A
公开日期:2024-10-25
类型:发明专利
摘要
本发明提出了一种基于大语言模型的微调语料质量提升方法、装置及设备,该微调语料质量提升方法包括:采用对齐后的大语言模型和质量评估提示词模板对微调语料进行质量评估;确定低质量微调语料;采用对齐后的大语言模型和质量提升提示词模板对低质量微调语料进行质量提升;迭代质量评估和质量提升过程得到优化后、经质量评估为更高质量的微调语料。本申请能够在保证微调语料高质量、高相关性的基础上,大幅提高数据准备的效率,通过调整数据生成策略,大语言模型能自动化地评估微调语料的问答匹配度和回复文本流畅度,并进行质量提升,从而增强大语言模型的微调对齐效果。
技术关键词
大语言模型 文本 模板 指令推理 电子设备 提升装置 处理器 重构 超参数 存储器 模块 分词 数据 策略 基础