0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

OntoED可以基于事件本体实现事件知识的利用和传播

深度学习自然语言处理 来源:浙大KG 作者:浙大KG 2021-06-19 09:44 次阅读

1、总述

事件检测旨在从给定的文本中识别事件触发词,并将其分类为事件类型。目前事件检测的大多数方法在很大程度上依赖于训练实例,而几乎忽略了事件类型之间的相关性。因此,它们往往会面临数据匮乏的问题,并且无法处理新的未见过的事件类型。

为了解决这些问题,我们将事件检测重构成事件本体填充的过程:将事件实例链接到事件本体中的预定义事件类型,并提出一种新颖的借助本体嵌入进行事件检测的框架——OntoED。我们通过建立事件类型之间的联系来丰富事件本体,并进一步推理出更多的事件对之间的关联。

OntoED可以基于事件本体实现事件知识的利用和传播,特别是从高资源传播到低资源的事件类型。此外,OntoED可以通过建立未知事件类型与现有事件的链接,实现对新的未见事件类型的检测。

2、方法

具体来说,OntoED模型分为三阶段:

(1)事件本体填充

在这一阶段,初始的事件本体包含孤立的事件类型和事件实例,这一步就是为了建立起事件类型和事件实例的初始关联,并建立起事件实例之间的联系。

Instance Encoder:我们利用BERT得到事件实例的表示 ;

Class Encoder:每个事件类型由事件原型 表示,初始的事件原型是通过计算事件实例表示的均值得到;

Event Detector:通过计算事件实例表示 和事件原型 之间的向量距离进行事件检测;

Instance Relation Extractor:抽取事件实例之间的关系。我们利用 来建模两个事件实例表示之间的相互作用,并用softmax进行关系分类。

(2)事件本体学习

在事件本体学习阶段,通过事件实例之间的联系建立起事件类型之间的联系,以得到更为丰富的事件本体。

Ontology Completion:主要包含建模事件实例的内部结构(Instance-to-class Linking)以及事件类型之间关联的外部结构(Class-to-class Linking)。

Ontology Embedding:主要包含原型传播和原型更新。在原型传播阶段,每个事件原型会传播到与它邻接的事件原型上,我们用 的矩阵 来表示事件对之间的关系;在原型更新阶段,每个事件原型的表示更新成自身原本的原型表示与邻接原型传播得到表示的加权平均。

传播到每个事件原型的表示:

事件原型更新后的表示:

(3)事件关联推断

在事件关联推断阶段,通过上一阶段得到的事件之间的关联推断出更多事件对之间的联系,比如,(e1, CAUSE, e2) → (e1, BEFORE, e2);(e1, BEFORE, e2) ∧ (e2, BEFORE, e3) → (e1, BEFORE, e3)。

给定grounding ,我们通过计算它的得分来判断事件之间关联推断成立的可能性。

这里我们主要考虑了本体语言OWL2中所定义的关系的对象属性:

并利用线性映射假设对关系矩阵的表示进行约束:

最后通过计算grounding左右两边关系矩阵的表示差异来得到grounding的得分,也就是可以通过grounding右边的事件关联推断出grounding左边新的事件关联的可能性。

3、实验

(1)数据集

为了验证OntoED的效果,我们构造了包含事件之间关系的事件抽取数据集——OntoEvent(数据集链接已给出,详细的数据统计在论文的支撑材料里)。

(2)实验结果

我们分别在全量样本、少样本、零样本的数据上做了实验。实验表明,OntoED比以往的事件检测方法效果更佳,尤其是在低资源的情况下。

编辑:jq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据集
    +关注

    关注

    4

    文章

    1189

    浏览量

    24469

原文标题:ACL2021 | OntoED:利用本体表示学习实现低资源的事件抽取

文章出处:【微信号:zenRRan,微信公众号:深度学习自然语言处理】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    神经网络反向传播算法的原理、数学推导及实现步骤

    传播算法的原理、数学推导、实现步骤以及在深度学习中的应用。 神经网络概述 神经网络是一种受人脑启发的计算模型,由大量的神经元(或称为节点)组成,每个神经元与其他神经元通过权重连接。神经网络可以分为输入层、隐藏层和输出层。输入层接
    的头像 发表于 07-03 11:16 59次阅读

    利用Swap模式实现代码回滚操作

    前面介绍了MCUboot的基础知识,您可通过上方链接回顾历史文章,上次介绍了Swap模式,本次着重介绍利用Swap模式实现代码回滚操作。在某些应用场景中,可能新版本的Firmware存在bug而需要返回至上一次的固件。
    的头像 发表于 06-19 15:45 654次阅读
    <b class='flag-5'>利用</b>Swap模式<b class='flag-5'>实现</b>代码回滚操作

    STD6N95K5本体背面有刮痕,会影响使用吗?

    STD6N95K5请问IC本体背面有刮痕,会影响使用吗
    发表于 03-15 07:05

    频率对地波传播的影响

    地波无线电信号传播非常适合白天在这些频率上进行相对较短距离的传播。由于电离层中的D区引起这些频率上的信号衰减,因此白天不可能进行天波电离层传播
    的头像 发表于 02-09 02:34 720次阅读
    频率对地波<b class='flag-5'>传播</b>的影响

    电磁波的传播需要考虑哪些因素?

    电磁波的神奇之处,就是它的传播不需要通过介质。只要电场和磁场两者能够交替开,就可以大踏步向前,以光的速度传播
    发表于 01-21 11:10 607次阅读
    电磁波的<b class='flag-5'>传播</b>需要考虑哪些因素?

    如何测量差分探头的传播延迟呢?

    如何测量差分探头的传播延迟呢? 差分探头的传播延迟指的是信号从输入端到输出端的传输时间。测量差分探头传播延迟的过程可以分为两个主要步骤:校准和测量。 一、校准差分探头 差分探头的传输延
    的头像 发表于 01-17 11:32 473次阅读

    电磁波的传播需要考虑哪些因素?

    在《电磁波是如何传输的?》我们介绍了空间电磁波传播的三种基本方式:地波传播,天波传播和视距传播。随着电磁波频率的升高,视距传播是目前最主要的
    的头像 发表于 01-16 10:02 1045次阅读
    电磁波的<b class='flag-5'>传播</b>需要考虑哪些因素?

    Spring事务传播性的相关知识

    本文主要介绍了Spring事务传播性的相关知识
    的头像 发表于 01-10 09:29 227次阅读
    Spring事务<b class='flag-5'>传播</b>性的相关<b class='flag-5'>知识</b>

    如何利用LiDAR实现深度感测

    如何利用LiDAR实现深度感测
    的头像 发表于 12-06 16:19 395次阅读
    如何<b class='flag-5'>利用</b>LiDAR<b class='flag-5'>实现</b>深度感测

    利用PyTorch实现NeRF代码详解

    神经辐射场(NeRF)是一种利用神经网络来表示和渲染复杂的三维场景的方法。它可以从一组二维图片中学习出一个连续的三维函数,这个函数可以给出空间中任意位置和方向上的颜色和密度。通过体积渲染的技术,NeRF
    的头像 发表于 10-21 09:46 559次阅读

    如何利用单片机、buck电路实现恒流充电?

    如何利用单片机、buck电路实现恒流充电? 恒流充电是一种常用的电池充电方式,它通过向电池提供恒定的电流来充电,并可以在一定程度上提高电池的充电效率和充电时间。在实际应用中,单片机和buck电路常常
    的头像 发表于 09-12 15:26 2958次阅读

    光纤传播信号的原理详解 光纤和基站有关系吗?

    光纤传播信号的原理详解 光纤和基站有关系吗 光纤传播信号的原理 光纤传播信号的原理指的是,利用光纤作为信号传输的载体,通过光的特性将信号传输到远距离的地方。光纤传输的原理是基于光的反射
    的头像 发表于 09-07 14:52 1599次阅读

    STD6N95K5 IC本体背面有刮痕,会影响使用吗?

    STD6N95K5IC本体背面有刮痕,会影响使用吗?
    发表于 08-05 06:05

    常见的plc本体故障有哪些

    电源故障也会占本体故障的一定比率,PLC输入一般是220交流,也有一些事24伏或者12伏输入的,但是里边有芯片,需要5VDC或者3.3VDC,所以有开关电源降压电路,这种电路因为电流大,温度高。
    发表于 08-01 09:29 275次阅读

    射频信号的传播方式

    射频信号在媒介中传播时,会有不通的传播方式,主要包括吸收、反射、散射、折射、衍射、损耗、增益和多径。
    的头像 发表于 07-18 13:45 2591次阅读
    射频信号的<b class='flag-5'>传播</b>方式