一种基于图增强学习的文档级事件因果关系识别方法

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种基于图增强学习的文档级事件因果关系识别方法
申请号:CN202410736165
申请日期:2024-06-07
公开号:CN118627617A
公开日期:2024-09-10
类型:发明专利
摘要
本发明公开了一种基于图增强学习的文档级事件因果关系识别方法,包括以下步骤:获取包含事件的文本数据;利用大语言模型作为外部知识库和推理器,生成先验因果图,获取初始图结构;利用长文本预训练语言模型获取上下文化事件表示和计算事件对相关程度,提供先验知识;引入注意力掩码和自注意力初始化机制,生成事件的上下文化表示,将先验因果图和上下文化事件相关度融入Transformer模型,以指导和控制模型的训练;使用图重构损失和注意力分布偏移正则化损失来训练和优化模型;输出基因数据库中提取的事件之间的因果联系。本发明引入基于事件相关度的自注意力初始化机制,并将Transformer的注意力限制在合理的分布空间。
技术关键词
识别方法 初始化机制 预训练语言模型 文本 生成事件 大语言模型 节点连接结构 神经网络单元 多头注意力机制 重构 平衡标签 平衡场景 有向无环图 标记 掩码矩阵 多层感知机