知识蒸馏方法、装置、设备、存储介质及计算机程序产品
申请号:CN202411051749
申请日期:2024-08-01
公开号:CN119005176B
公开日期:2025-11-28
类型:发明专利
摘要
本申请公开了一种知识蒸馏方法、装置、设备、存储介质及计算机程序产品,涉及人工智能技术领域,该方法包括:将检测文本输入到目标教师模型,输出关键词,并根据关键词构建目标知识图谱集;获取目标知识图谱集中的关键信息及关键信息之间的逻辑关系,并将目标知识图谱集和关键词输入到预设大语言模型,输出推理步骤;利用关键信息及逻辑关系对推理步骤进行优化,得到思维链;将思维链输入到学生模型中进行迭代训练,得到目标学生模型。通过将知识图谱引入大语言模型,实现对特定领域知识的有效蒸馏,不仅可以增强学生模型在特定领域的表现,避免了学生模型对教师模型的高度依赖,而且降低了模型部署和应用的复杂性。
技术关键词
学生
知识蒸馏方法
关键词
大语言模型
计算机程序产品
教师
文本
知识图谱构建
人工智能技术
蒸馏设备
处理器
蒸馏装置
集成模块
标签
输出模块
可读存储介质
存储器