基于三角度注意力和实体-关系相关性的DocRE方法
申请号:CN202510899504
申请日期:2025-07-01
公开号:CN120407806B
公开日期:2025-09-09
类型:发明专利
摘要
本发明具体公开了一种基于三角度注意力和实体‑关系相关性的DocRE方法,属于自然语言处理技术领域。该方法首先将输入文档编码至预训练语言模型PLM,获取嵌入表示及多头注意力矩阵;接着设计实体对‑上下文注意力、实体对‑证据注意力和实体对间注意力三种机制,并通过注意力迁移模块对三类注意力信息进行特征对齐与加权融合,生成统一的实体对语义表示;然后构建实体‑关系共现图,借助图注意力网络实现节点特征聚合与传播,获取实体‑关系共现特征;最后将融合语义特征与共现特征拼接,用于实体对关系的分类预测。该方法有效提升了跨句推理能力和远距离实体建模效果,增强了模型对复杂关系的抽取准确性与泛化能力。
技术关键词
关系
注意力机制
融合语义
预训练语言模型
损失函数设计
挖掘实体
矩阵
焦点
节点特征
标签
自然语言
垂直轴
远距离
非线性
键值