论文笔记 ACL 2021|Document-level Event Extraction via Heterogeneous Graph-based Interaction Model with a

admin管理员组

文章数量:1589766

文章目录

• • 1 简介
  • • 1.1 动机
    • 1.2 创新
  • 2 方法
  • 3 实验

1 简介

论文题目：Document-level Event Extraction via Heterogeneous Graph-based Interaction Model with a Tracker
论文来源：ACL 2021
论文链接：https://arxiv/pdf/2105.14924.pdf
代码链接：https://github/RunxinXu/GIT

1.1 动机

文档级事件抽取存在两个挑战：

1. 事件的论元分散在多个句子中
2. 一个文档可能同时表达多个事件

1.2 创新

• 提出了一个异质图交互网络，可以捕捉不同句子中论元的上下文信息。
• 提出了一个tracker模块，用来追踪抽取的事件记录(建模事件间的依赖)。

2 方法

模型的整体框架如上图，主要分为下面四个部分：

1. 实体抽取：该模块进行实体抽取，使用Transformer进行编码(token中加入位置信息)，然后BIO标注，公式如下：

2. 异质图交互网络：首先构造图(初始化实体结点编码(平均)，初始化句子结点编码(max加句子位置编码))，边共有下面四种，然后GCN编码，最后得到句子编码 S = [ h 1 T h 2 T . . . h ∣ D ∣ T ] S=[h_1^T h_2^T...h_{|D|}^T] S=[h1T​h2T​...h∣D∣T​],对于实体编码可能存在多个提及，使用字符串匹配来检测实体共指，然后平均全部提及。

• 句子-句子：全连接全部的句子。
• 句子-实体：连接实体和所在的句子。
• 内部-实体-实体：连接同一个句子中的实体结点。
• 相互-实体-实体：全连接相同的实体。

3. 事件类别检测：由于一个文档可能存在多个事件类型，将事件检测定义为多标签分类任务，使用多头注意力机制对句子进行编码，然后分类。

4. 事件记录抽取：以扩展树的方式进行事件抽取(多标签分类)，全局记忆向量G(对实体进行LSTM编码，同时加入事件类型编码)在不同的事件类型中共享，然后将 E , S , U i , G E,S,U_i,G E,S,Ui​,G(分别为实体特征和角色编码的和，句子特征，当前实体路径，全局记忆向量G，同时也加入了segment编码(为了区分合并的向量的不同部分))经过Transformer编码，最后对 E i E_i Ei​进行二分类(该实体是否为当前事件记录的角色(预定义))。

总loss为上述3个loss的和：

3 实验

数据集使用Doc2EDAG中的中文金融数据集(5种事件、35种论元角色)，平均每个文档有20个句子，912个token，一个事件大约涉及6个句子，29%的文档有多个事件。实验结果如下图：
在测试集中99.5%的事件存在于多个句子中，在多句子情况下的实验效果：

在多事件(文档中包含多个事件)的情况下的实验效果：

构图的不同边的消融实验：

全局记忆向量的消融实验(-OT表示移除不同事件之间的全局依赖，-OP表示只保留当前路径的依赖信息，-NT表示删除Tracker模块)：

case study：

本文标签： 笔记论文DocumentLevelEvent