0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

如何解决NER覆盖和不连续问题

深度学习自然语言处理 来源:深度学习自然语言处理 作者:zenRRan 2021-09-08 10:48 次阅读

论文:A Span-Based Model for Joint Overlapped and DiscontinuousNamed Entity Recognition

链接:https://aclanthology.org/2021.acl-long.372.pdf

代码:https://github.com/foxlf823/sodner

提取摘要

由于普通的NER问题被研究的透透的了,本文主要解决一种稍微复杂些问题:一种带有覆盖和不连续(Overlapped and Discontinuous)的命名实体识别任务。

而在这两者研究上来说,前人只是要么解决覆盖问题,要么解决不连续问题,但是本文提出一种联合解决这两种问题的span-based方法。

span-based方法昨天也提到过了,所以关于实体+关系抽取的任务都可以尝试。

本文通过两个步骤构建模型:

通过列举所有可能的text span来识别出实体片段(entity fragments);

在这些entity fragments上预测是两种关系overlapping or succession。

这样,我们不仅可以识别Discontinuous的实体,同时也可以对Overlapped的实体进行双重检查。

通过上述方法轻松将NER装换成RE(Relation Extraction)任务。最终实验在很多数据集上比如CLEF, GENIA andACE05上展现除了很强劲的性能。

该模型的步骤为

input一方面通过pre-train模型获取word rep,一方面通过dependency parsing获取句法信息

GCN集合LSTM的输出和句法输入,得到syntax-enhanced的新的表达;

获取所有span表示;

通过两个MLP预测span是否为实体,以及实体时间是否有关系;

最后每个loss加上权重,为最终优化目标。

关键分类

AGGCN用来融入句法信息

attention-guided GCN (AGGCN)比普通GCN要强一些,所以这里选用该方法。传统的GCN:

124ac384-1003-11ec-8fb8-12bb97331649.png

而AGGCN就是使用self-attention,替换以前的邻接矩阵A,最后通过线性方法将multi head生成的结果合一:

12545908-1003-11ec-8fb8-12bb97331649.png

Span的表示

解码先预测实体片段,再预测关系。

12860e4e-1003-11ec-8fb8-12bb97331649.png

解码公式

损失计算

实验实验数据介绍

在数据上的表现

在其他数据上与前人的对比,虽然性能不如SOTA,但是这种Span-based方式和SOTA差不了多少,是个新颖的想法。

责任编辑:haq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 模型
    +关注

    关注

    1

    文章

    3162

    浏览量

    48708
  • nlp
    nlp
    +关注

    关注

    1

    文章

    487

    浏览量

    22010

原文标题:ACL2021 | 一种巧妙解决NER覆盖和不连续问题的方法

文章出处:【微信号:zenRRan,微信公众号:深度学习自然语言处理】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    SRC4190波形连续的原因?怎么解决?

    我的电路如下图: 其中dev1是CPU dev2是音频处理芯片 现在CPU发送24bit的采样率48K1KHZ正弦波 经过src4190后进入音频处理芯片DAC输出波形连续 如下:
    发表于 09-27 09:46

    何解决工字电感噪音大的问题

    电子发烧友网站提供《如何解决工字电感噪音大的问题.docx》资料免费下载
    发表于 09-04 11:46 0次下载

    何解决电感的漏感问题

    电子发烧友网站提供《如何解决电感的漏感问题.docx》资料免费下载
    发表于 09-02 14:48 0次下载

    BP神经网络在处理连续变量时的应用

    BP神经网络(Backpropagation Neural Network)是一种多层前馈神经网络,广泛应用于各种领域的数据建模和预测任务。然而,BP神经网络在处理连续变量时可能会遇到一些挑战
    的头像 发表于 07-03 10:19 310次阅读

    PMP30921.1-4W 连续导通模式初级侧调节反激式 PCB layout 设计

    电子发烧友网站提供《PMP30921.1-4W 连续导通模式初级侧调节反激式 PCB layout 设计.pdf》资料免费下载
    发表于 05-22 15:16 0次下载
    PMP30921.1-4W <b class='flag-5'>不</b><b class='flag-5'>连续</b>导通模式初级侧调节反激式 PCB layout 设计

    PMP31007.1-隔离式 12W 连续导通模式 (DCM) 反激式 PCB layout 设计

    电子发烧友网站提供《PMP31007.1-隔离式 12W 连续导通模式 (DCM) 反激式 PCB layout 设计.pdf》资料免费下载
    发表于 05-22 11:20 3次下载
    PMP31007.1-隔离式 12W <b class='flag-5'>不</b><b class='flag-5'>连续</b>导通模式 (DCM) 反激式 PCB layout 设计

    定义了一个结构体,但是分配的地址连续,为什么?

    定义了一个结构体,但是分配的地址连续,是KEIL的问题还是我的问题?
    发表于 04-26 08:12

    BOM与焊盘为什么匹配?

    何解决BOM与焊盘匹配的问题? ①同步更新BOM与焊盘设计 在设计变更时,确保BOM和焊盘设计同步更新,避免信息不一致。
    的头像 发表于 04-12 12:33 620次阅读

    PCB设计阻抗连续的原因及解决方法

    一站式PCBA智造厂家今天为大家讲讲如何解决pcb设计阻抗连续的问题?解决PCB设计中的阻抗连续的方法。当涉及到PCB(Printed
    的头像 发表于 03-21 09:32 641次阅读

    煤气柜泄漏问题如何解

    电子发烧友网站提供《煤气柜泄漏问题如何解决.docx》资料免费下载
    发表于 03-05 17:49 0次下载

    arcgis空间参考与数据框匹配如何解

    当使用ArcGIS软件进行空间数据处理时,经常会遇到空间参考与数据框匹配的问题。这种匹配可能导致数据显示不正确,分析结果不准确,甚至引发其他错误。本文将详细介绍空间参考与数据框匹配的原因以及
    的头像 发表于 02-25 11:17 1.2w次阅读

    tasking生成的应用程序SRE文件地址连续是怎么回事?

    我在做XC2234L的bootloader,将boot地址划为0XC0 0000-0XC0 5000,APP地址为0XC05000起的所有地址,我做了一个小的APP程序,但是最后生成的SREC文件的地址连续,地址从0XC05200直接跳到了0XC20000,请问这个要怎
    发表于 02-06 06:06

    何解决键槽滚键磨损问题

    电子发烧友网站提供《如何解决键槽滚键磨损问题.docx》资料免费下载
    发表于 02-04 14:24 0次下载

    何解决PCB设计总是有阻抗连续

    如果传输线是各向同性的,那么只要信号在传输,就始终存在一个电流 I,而如果信号的输出电压为 V,在信号传输过程中,传输线就会等效成一个电阻,大小为 V/I,把这个等效的电阻称为传输线的特性阻抗 Z。
    发表于 01-09 16:15 291次阅读
    如<b class='flag-5'>何解</b>决PCB设计总是有阻抗<b class='flag-5'>不</b><b class='flag-5'>连续</b>?

    什么原因会导致ADP7118工作?如何解决?

    ,没有异常。初步怀疑是ADP7118的问题,但是换了其他同样封装的LDO,现象相同,还是有一定几率+5V产生。请问这是什么问题,如何解决,是不是应该选择具有软启动功能的LDO?
    发表于 01-08 06:47