0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

关于AE、OE、SC的序列标注问题

深度学习自然语言处理 来源:深度学习自然语言处理 作者:深度学习自然语言 2022-10-09 17:27 次阅读

给定句子,定义三个AE、OE、SC的序列标注问题:

AE 目的是预测一个tag序列(和原始句子等长),其中 分别表示 begining of, inside of, outside of 一个aspect term。

OE 目的是预测一个tag序列(和原始句子等长),其中分别表示 begining of, inside of, outside of 一个opinion term。

SC 目的是预测一个tag序列(和原始句子等长),其中分别表示每个单词的极性。

f7ce26cc-47b0-11ed-a3b6-dac502259ad0.png左图是全框架,右图是一个RACL的具体结构

结构解析

1.输入部分是词嵌入经过一个全连接层得到

2.首先进行子任务私有特征的编码,得到面向三个子任务的特征、、

利用卷积得到AE-oriented features 和OE-oriented features ,考虑到的是这两个任务与词的临近词相关性很大。

f7e86af0-47b0-11ed-a3b6-dac502259ad0.png

为了得到SC-oriented features

首先从中利用CNN编码上下文特征,然后将共享向量视为query方面,并用注意力机制计算query和上下文特征之间的语义关系,得到(利用的是实现的表达)

f801719e-47b0-11ed-a3b6-dac502259ad0.pngf81b8de0-47b0-11ed-a3b6-dac502259ad0.pngf8306832-47b0-11ed-a3b6-dac502259ad0.png

3.Propagating Relations for Collaborative Learning

f83dc0c2-47b0-11ed-a3b6-dac502259ad0.png

是AE和OE之间的双向关系,是OE向AE传递的部分,计算方法是和交互,利用表达。然后将交互部分同原来的面向AE的特征拼接在一起,经过一个线性层和softmax就可以得到任务AE的分类结果。同理得到任务OE的分类结果。

f8675d92-47b0-11ed-a3b6-dac502259ad0.pngf884fb68-47b0-11ed-a3b6-dac502259ad0.pngf8a21fb8-47b0-11ed-a3b6-dac502259ad0.pngf8b63cc8-47b0-11ed-a3b6-dac502259ad0.png

此外,一个单词不可以既是方面词又是情感词,因此加入了合页损失作为正则项来约束和

f8caf3de-47b0-11ed-a3b6-dac502259ad0.png

R2是SC和之间的三元关系。注意直接使用注意力权重来相加的,而不是在最后阶段。

f8eca43e-47b0-11ed-a3b6-dac502259ad0.png

R3是SC和OE之间的双向关系,这表明,在对情感极性进行预测时,需要对抽取出的观点术语多加关注。为了建模R3,采用和R2同样的方式,也就是对SC中的利用生成的 tag序列进行更新,如下:

f91987ec-47b0-11ed-a3b6-dac502259ad0.png

这样的话情感词在注意力机制中可以得到更大的权重,从而有利于情感分类。

得到上述方式完成交互后的后,我们可以按照式子4重新计算面向SC任务的特征,然后我们将和拼接在一起作为最后的SC的特征,并将它们经过一个全连接层后去预测方面极性。

f934d330-47b0-11ed-a3b6-dac502259ad0.png

4.Stacking RACL to Multiple Layers以上是一个RACL模块的输出,本实验堆叠了多个模块。具体来说,我们首先编码第一层特征,,,在第二层将这些特征输入到SC,AE和OE去生成,,。以此类推可以将RACL堆叠到L层。最后将各层的最终预测结果进行平均池化的操作

f953f8fa-47b0-11ed-a3b6-dac502259ad0.png

这种shortcut-like的架构可以促进低层中的功能具有意义和信息量,反过来这也有助于高层做出更好的预测。

损失函数

最终RACL总的损失的 L 是所有子任务的损失之和加上正则项的损失,也就是,其中是系数,.

方法比较和Case分析

和不同的历史方法作比较:

f9718a28-47b0-11ed-a3b6-dac502259ad0.png

关于本文提出的方法的简单变种的消融实验:

f9f3cb3c-47b0-11ed-a3b6-dac502259ad0.png

超参和的影响:fa0ab630-47b0-11ed-a3b6-dac502259ad0.png

Case分析:

fa30e4a4-47b0-11ed-a3b6-dac502259ad0.png

关于上面的可视化分析:

fa6837a6-47b0-11ed-a3b6-dac502259ad0.png

最后就是不同方法的计算量分析:

fa7ffe5e-47b0-11ed-a3b6-dac502259ad0.png  

审核编辑:彭静
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 编码
    +关注

    关注

    6

    文章

    935

    浏览量

    54759
  • 函数
    +关注

    关注

    3

    文章

    4304

    浏览量

    62415

原文标题:武汉大学提出:用于基于统一Aspect的情感分析的关系感知协作学习

文章出处:【微信号:zenRRan,微信公众号:深度学习自然语言处理】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    有没有关于SC块工作的视频?

    有没有关于SC块工作的视频? 以上来自于百度翻译 以下为原文Is there any video on the working of SC blocks?
    发表于 05-31 14:26

    如何绑定原理图中的标注

    Altium 关于多part元件在原理图中的标注问题请教比如下图,有两个运放现在我想图中IC1A与IC2B邦定为一个元件,IC2A与IC1B邦定为一个元件,来标注。请问如何邦定?没有邦定的情况下,自动
    发表于 09-26 04:10

    CAD中怎么批量标注坐标?CAD批量标注坐标​

    在CAD绘图过程中,当需要进行有大量CAD坐标标注时,该如何操作呢?下面就来和小编一起来了解一下浩辰CAD建筑中关于批量标注普通坐标的相关操作步骤吧!CAD批量标注普通坐标操作步骤:首
    发表于 06-06 15:45

    关于c语言序列化和反序列化的知识点看完你就懂了

    关于c语言序列和反序列化的知识点你就懂了
    发表于 10-15 08:47

    基于无向图序列标注模型的中文分词词性标注一体化系统

    在中文词法分析中,分词是词性标注必须经历的阶段。为了能在分词阶段就充分利用词性标注的信息和减少两阶段错误的累计,最好的方法是将两个阶段,整合到一个架构中。该文
    发表于 03-06 11:22 12次下载

    新唐科技NUC125SC2AE单片机简介

    NUC125SC2AE为32位USB单片机系列,支持主频最高可至50 MHz、 32 KB Flash、8 KB SRAM、12位 ADC、内置48 MHz高精度高速RC晶振并支持 USB 传输不须
    的头像 发表于 02-26 09:34 1069次阅读
    新唐科技NUC125<b class='flag-5'>SC2AE</b>单片机简介

    新唐科技NUC121SC2AE单片机简介

    NUC121SC2AE为32位USB单片机系列,支持主频最高可至50 MHz、 32 KB Flash、8 KB SRAM、12位 ADC、内置48 MHz高精度高速RC晶振并支持 USB 传输不须
    的头像 发表于 02-26 09:49 2373次阅读
    新唐科技NUC121<b class='flag-5'>SC2AE</b>单片机简介

    新唐科技M031SC2AE控制器介绍

    M031SC2AE 是基于 Arm® Cortex®-M0 内核的低工作电压微控制器,具有 32 位硬件乘法器/除法器。
    的头像 发表于 11-28 09:50 1871次阅读
    新唐科技M031<b class='flag-5'>SC2AE</b>控制器介绍

    NLP:序列标注

    文本分类任务。 序列标注(NER)篇。针对命名实体识别、序列标注任务。 文本匹配篇。针对语义相似度计算、向量匹配等问题。 人工特征学习篇。针对多特征的机器、深度学习方案。 1
    的头像 发表于 01-13 09:46 2529次阅读

    将对话中的情感分类任务建模为序列标注 并对情感一致性进行建模

    本文是平安科技发表在ACL2020上的一篇论文,思路比较新颖,它将ERC任务看做序列标注任务,并对情感一致性进行建模。   之前解决ERC的思路是利用上下文的话语特征预测对话中单个话语的情感标签
    的头像 发表于 01-18 16:24 3074次阅读

    基于双向长短时记忆的序列标注神经网络模型

    定义抽取是从非结构化文本中自动识别定义句的任务,定义抽取问题可建模为句子中术语及相应定义的序列标注问题,并利用标注结果完成抽取任务。针对传统的定义抽取方法在抽取定义特征过程中费时且容易造成错误
    发表于 06-03 11:21 15次下载

    CAT-OE4-SD69 CAT-OE4-SD69 功率继电器

    电子发烧友网为你提供TE(ti)CAT-OE4-SD69相关产品参数、数据手册,更有CAT-OE4-SD69的引脚图、接线图、封装手册、中文资料、英文资料,CAT-OE4-SD69真值表,CAT-
    发表于 07-24 23:00

    CAT-OE4-EF1 CAT-OE4-EF1 功率继电器

    电子发烧友网为你提供TE(ti)CAT-OE4-EF1相关产品参数、数据手册,更有CAT-OE4-EF1的引脚图、接线图、封装手册、中文资料、英文资料,CAT-OE4-EF1真值表,CAT-O
    发表于 08-03 19:00

    基于序列标注的实体识别所存在的问题

    实体识别通常被当作序列标注任务来做,序列标注模型需要对实体边界和实体类别进行预测,从而识别和提取出相应的命名实体。在BERT出现以前,实体识别的SOTA模型是LSTM+CRF,模型本身
    的头像 发表于 07-28 11:08 1748次阅读

    基于BIO序列标注的方法和基于片段的图解析方法

    该论文的出发点是将端到端基于片段的(span-based)语义角色标注(SRL)转换为基于词的(word-based)图解析(graph parsing)任务。
    的头像 发表于 10-21 15:53 2855次阅读