基于反事实数据增强和多视角思维链的大模型知识蒸馏方法

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
基于反事实数据增强和多视角思维链的大模型知识蒸馏方法
申请号:CN202411594814
申请日期:2024-11-10
公开号:CN119721182B
公开日期:2025-11-11
类型:发明专利
摘要
本发明公开了一种基于反事实数据增强和多视角思维链的大模型知识蒸馏方法。本发明首先利用主题词和语法分析树获取文本语义的关键特征,并用大语言模型自动的生成高质量反事实数据,然后利用多视角思维链增强反事实数据的多样性,提升小语言模型的推理能力。和现有技术相比,本发明提出的大模型反事实蒸馏框架能够增强小模型推理的鲁棒性和泛化能力,在不同架构的小语言模型和不同分布的数据集上都取得了优异的性能。
技术关键词
大语言模型 知识蒸馏方法 文本 答案 数据 多视角 语言模型训练方法 字符 标签 鲁棒性 指令 语义 框架