基于多尺度空洞Transformer的知识图谱嵌入方法及装置
申请号:CN202410857124
申请日期:2024-06-28
公开号:CN118733788A
公开日期:2024-10-01
类型:发明专利
摘要
本发明涉及一种基于多尺度空洞Transformer的知识图谱嵌入方法及装置,属于计算机存储技术领域。该方法包括:样本采集阶段、向量融合阶段、模型构建与训练阶段和链接预测阶段;其中,模型构建与训练阶段具体是构建基于多尺度空洞Transformer的深度学习模型,该模型是一个两阶段的Transformer架构,第一阶段利用融合空洞卷积的多尺度空洞注意力学习到复杂的局部特征信息,第二阶段使用融合子图邻接矩阵的多头结构感知注意力,保证注意力计算分数和子图结构保持高度一致,学习全局信息,得到Transformer的编码结果,包含局部和全局特征信息。本发明能提高知识图谱嵌入的性能。
技术关键词
知识图谱嵌入方法
空洞
注意力机制
三元组
多尺度
多头结构
实体
深度学习模型
局部特征信息
关系
并行策略
模型训练模块
序列
阶段
计算机存储技术
节点
采样方法
编码