知识蒸馏方法、装置、设备、存储介质及计算机程序产品

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
知识蒸馏方法、装置、设备、存储介质及计算机程序产品
申请号:CN202411051749
申请日期:2024-08-01
公开号:CN119005176B
公开日期:2025-11-28
类型:发明专利
摘要
本申请公开了一种知识蒸馏方法、装置、设备、存储介质及计算机程序产品,涉及人工智能技术领域,该方法包括:将检测文本输入到目标教师模型,输出关键词,并根据关键词构建目标知识图谱集;获取目标知识图谱集中的关键信息及关键信息之间的逻辑关系,并将目标知识图谱集和关键词输入到预设大语言模型,输出推理步骤;利用关键信息及逻辑关系对推理步骤进行优化,得到思维链;将思维链输入到学生模型中进行迭代训练,得到目标学生模型。通过将知识图谱引入大语言模型,实现对特定领域知识的有效蒸馏,不仅可以增强学生模型在特定领域的表现,避免了学生模型对教师模型的高度依赖,而且降低了模型部署和应用的复杂性。
技术关键词
学生 知识蒸馏方法 关键词 大语言模型 计算机程序产品 教师 文本 知识图谱构建 人工智能技术 蒸馏设备 处理器 蒸馏装置 集成模块 标签 输出模块 可读存储介质 存储器