基于知识图谱增强的大语言模型训练方法及系统

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
基于知识图谱增强的大语言模型训练方法及系统
申请号:CN202510658356
申请日期:2025-05-21
公开号:CN120578770A
公开日期:2025-09-02
类型:发明专利
摘要
本发明涉及大语言模型技术领域,且公开了基于知识图谱增强的大语言模型训练方法,包括以下步骤:S1、多源异质知识图谱构建;S2、混合注意力异质图编码;S3、双向映射预训练任务;S4、位置特定门控融合。该基于知识图谱增强的大语言模型训练方法及系统,将结构化三元组与文本实体描述建同质子图,跨图边连接节点形成异质图,通过实体链接和句法分析建立关联边,统一建模多源知识,解决融合低效;混合注意力编码采用分层机制,语义层级按类型兼容性算权重,节点层级通过余弦距离和路径长度算相似度聚合特征,经池化生成实体向量,显式学习图谱结构与语义,提升推理准确性,解决知识理解浅层化问题。
技术关键词
语言模型训练方法 语言模型训练系统 文本 异质 知识图谱构建 层级 模糊匹配算法 语义 大语言模型 池化方法 实体链接算法 邻居 子模块 节点特征 注意力机制 依存句法分析