一种基于结构感知及逐步蒸馏的多跳常识生成方法

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种基于结构感知及逐步蒸馏的多跳常识生成方法
申请号:CN202411059019
申请日期:2024-08-02
公开号:CN118964942A
公开日期:2024-11-15
类型:发明专利
摘要
本发明公开了基于结构感知及逐步蒸馏的多跳常识生成方法,具体如下:首先通过基于结构感知的编码器,将自然语言形式表述的前提原子集合映射到一个图结构中,使得模型更准确地捕获实例之间的复杂关系。此外,基于逐步蒸馏提取大模型阐述推理依据的能力,通过少样本思维链提示学习的方式,接着,将上述依据作为额外的信息来源,进行小模型的多任务训练。小模型不仅能够综合考虑多个前提原子,生成正确性较高的假设原子,还能够输出有助于其理解多跳常识推导过程的依据,从而提升多跳常识生成效果。最后,通过大语言模型构建了多跳常识数据集,具有较高的整体性能,生成更为复杂且流畅的假设原子,并维持了较高的正确性与多样性。
技术关键词
生成方法 大语言模型 蒸馏 小规模 自然语言 关系 编码器 训练语言模型 多任务 数据 处理器 定义 答案 计算机 模板 代表 节点 可读存储介质 存储器 解码器