0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

使用知识图谱作为输入的表征,研究一个端到端的graph-to-text生成系统

深度学习自然语言处理 来源:纸鱼AI 2020-08-28 10:28 次阅读

背景

生成表达复杂含义的多句文本需要结构化的表征作为输入,本文使用知识图谱作为输入的表征,研究一个端到端的graph-to-text生成系统,并将其应用到科技类文本写作领域。作者使用一个科技类文章数据集的摘要部分,使用一个IE来为每个摘要提取信息,再将其重构成知识图谱的形式。作者通过实验表明,将IE抽取到知识用图来表示会比直接使用实体有更好的生成效果。

graph-to-text的一个重要任务是从 Abstract Meaning Representation (AMR) graph生成内容,其中图的编码方法主要有graph convolution encoder,graph attention encoder,graph LSTM,本文的模型是graph attention encoder的一个延伸。

数据集

作者构建了一个Abstract GENeration Dataset(AGENDA),该数据包含40k个AI会议的论文标题和摘要。对于数据集中的每篇摘要,首先使用SciIE来获取摘要中的命名实体及实体之间的关系(Compare, Used-for, Feature-of, Hyponymof,Evaluate-for, and Conjunction),随后将得到的这些组织成无连接带标签图的形式。

模型

GraphWriter模型总览

编码器

构建图

将之前数据集中的无连接带标签图,转化为有连接无标签图,具体做法为:原图中的每个表示关系的边用两个节点替代,一个表示正向的关系,一个表示反向的关系;增加一个与所有实体节点连接全局向量节点,该向量将会被用来作为解码器的初始输入。下图中表示实体节点,表示关系,表示全局向量节点

最终得到的有连接,无标签图为G=(V,E),其中V表示实体/关系/全局向量节点,E表示连接矩阵(注意这里的G和V区别上述图中的G和v)。

Graph Transformer

Graph Transformer由L个Block Network叠加构成,在每个Block内,节点的嵌入首先送入Graph Attention模块。这里使用多头自注意力机制,每个节点表征通过与其连接的节点使用注意力,来得到上下文相关的表征。得到的表征随后再送入正则化层和一个两层的前馈神经网络层。最后一层的得到的即表示上下文后的实体,关系,全局向量节点。

解码器

在每个时间步t使用隐藏状态来计算图和标题的上下文向量和,其中通过使用多头注意力得到,

也通过类似的方式得到,最终的上下文向量是两者的叠加。随后使用类似pointer-network的方法来生成一个新词或复制一个词,

实验

实验包含自动和人工评估,在自动评估中,GraphWriter代表本篇文章的模型,GAT中将Graph Transformer encoder使用一个Graph Attention Network替换,Entity Writer仅使用到了实体和标题没有图的关系信息,Rewriter仅仅使用了文章的标题,

从上图可以看到,使用标题,实体,关系的模型(GraphWriter和GAT)的表现要显著好于使用更少信息的模型。在人工评估中,使用Best-Worst Scaling,

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据集
    +关注

    关注

    4

    文章

    1205

    浏览量

    24639
  • Transformer
    +关注

    关注

    0

    文章

    141

    浏览量

    5980
  • 知识图谱
    +关注

    关注

    2

    文章

    132

    浏览量

    7693

原文标题:【论文解读】基于图Transformer从知识图谱中生成文本

文章出处:【微信号:zenRRan,微信公众号:深度学习自然语言处理】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    连接视觉语言大模型与自动驾驶

    自动驾驶在大规模驾驶数据上训练,展现出很强的决策规划能力,但是面对复杂罕见的驾驶场景,依然存在局限性,这是因为
    的头像 发表于 11-07 15:15 146次阅读
    连接视觉语言大模型与<b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b>自动驾驶

    测试用例怎么写

    编写测试用例是确保软件系统从头到尾能够正常工作的关键步骤。以下是详细的指南,介绍如何编
    的头像 发表于 09-20 10:29 331次阅读

    实现自动驾驶,唯有

    ,去年行业主流方案还是轻高精地图城区智驾,今年大家的目标都瞄到了(End-to-End, E2E)。
    的头像 发表于 08-12 09:14 613次阅读
    实现自动驾驶,唯有<b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b>?

    如何判断同相输入和反相输入

    和两输入端口,即同相输入(Non-inverting Input)和反相输入(Invert
    的头像 发表于 07-31 10:54 1409次阅读

    输入和双输入的区别是什么

    信号通常连接到电路的端点,而另一个端点则接地或接参考电压。 1.1 单输入的原理 单
    的头像 发表于 07-31 10:50 2059次阅读

    与非门的闲置输入如何处理

    在数字电路设计中,与非门(NAND gate)是种基本的逻辑门,它具有两或多个输入
    的头像 发表于 07-30 14:47 1235次阅读

    三星电子将收购英国知识图谱技术初创企业

    在人工智能技术日新月异的今天,三星电子公司再次展现了其前瞻性的战略布局与技术创新实力。近日,三星正式宣布完成了对英国领先的人工智能(AI)与知识图谱技术初创企业Oxford Semantic Technologies的收购,此举标志着三星在提升设备AI能力、深化个性化用
    的头像 发表于 07-18 14:46 498次阅读

    知识图谱与大模型之间的关系

    在人工智能的广阔领域中,知识图谱与大模型是两至关重要的概念,它们各自拥有独特的优势和应用场景,同时又相互补充,共同推动着人工智能技术的发展。本文将从定义、特点、应用及相互关系等方面深入探讨知识图谱与大模型之间的关系。
    的头像 发表于 07-10 11:39 884次阅读

    比较器输入和输出的关系

    比较器是种电子设备,用于比较两电压或电流信号的大小。比较器的输入和输出之间的关系是其核心功能之
    的头像 发表于 07-10 10:39 1816次阅读

    差分放大电路单输入和双输入的区别

    输入差分放大电路是指只有输入的差分放大电路。其主要特点是电路结构简单,易于实现,但
    的头像 发表于 07-08 14:54 2165次阅读

    小鹏汽车发布大模型

    小鹏汽车近日宣布,其成功研发并发布了“国内首个量产上车”的大模型,该模型可直接通过传感器输入内容来控制车辆,标志着智能驾驶技术的新突破。
    的头像 发表于 05-21 15:09 650次阅读

    佐思汽研发布《2024年自动驾驶研究报告》

    自动驾驶是直接从传感器信息输入(如摄像头图像、LiDAR等)控制命令输出(如转向、加减速等)映射的
    的头像 发表于 04-20 11:21 2799次阅读
    佐思汽研发布《2024年<b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b>自动驾驶<b class='flag-5'>研究</b>报告》

    利用知识图谱与Llama-Index技术构建大模型驱动的RAG系统(下)

    对于语言模型(LLM)幻觉,知识图谱被证明优于向量数据库。知识图谱提供更准确、多样化、有趣、逻辑和致的信息,减少了LLM中出现幻觉的可能性。
    的头像 发表于 02-22 14:13 1106次阅读
    利用<b class='flag-5'>知识图谱</b>与Llama-Index技术构建大模型驱动的RAG<b class='flag-5'>系统</b>(下)

    ttl门多余的输入如何处理 ttl多余的输入可以悬空吗

    不同的方式进行处理,但悬空连接并不是推荐的做法。 悬空连接是指将多余的输入保持未连接,也就是断开输入信号。尽管这样做可能不会对系统造成直接的损害,但它可能导致
    的头像 发表于 02-18 16:26 2823次阅读

    知识图谱基础知识应用和学术前沿趋势

    知识图谱(Knowledge Graph)以结构化的形式描述客观世界中概念、实体及其关系。是融合了认知计算、知识表示与推理、信息检索与抽取、自然语言处理、Web技术、机器学习与大数据挖掘等等方向的交叉学科。人工智能是以传统符号派
    的头像 发表于 01-08 10:57 861次阅读
    <b class='flag-5'>知识图谱</b>基础<b class='flag-5'>知识</b>应用和学术前沿趋势