0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

研究人员开发解释多义词的神经网络

NVIDIA英伟达企业解决方案 来源:未知 作者:胡薇 2018-09-12 15:52 次阅读

脱离上下文时,每个英文单词都有多重含义。例如,“bank”可以指银行或河岸;“Fair”可以指展览会,也可以指对展览会的评价;“Duck”可以是躲避伤害的动作,也可以指鸭子。

对于人类来说搞清楚一个单词在某场景中适用的含义是非常简单的。但是,对于自然语言处理模型就是另一回事了。近些年已经出现很多用于解析文本的AI工具,但是当涉及到多重含义的单词时,这些工具往往会陷入困境。来自艾伦人工智能研究所(Allen Institute for Artificial Intelligence)和华盛顿大学的研究人员正在努力解决这一难题,他们使用了可以根据上下文来确定英文单词含义的神经网络

向前和向后阅读

通常,NLP模型通过词向量(在每个单词中附加语言含义和单词语法的基础元素)中的结构化数据进行训练。此算法基于假设每个单词只有一种向量表示,但实际上英文单词并非如此。

研究人员利用名为“ELMo”的神经系统打破了这一假设,此神经系统可以为每个单词创造出无限数量的向量。

“‘ELMo’是‘Embeddings from Language Models’的缩写,而不是毛茸茸的红色芝麻街角色”,论文“Deep contextualized word representations”的第一作者Matthew Peters解释道。

ELMo喜欢阅读:这不是美国幼儿教育电视节目《芝麻街》中的Elmo,而是使用双向语言模型的神经系统ELMo。

常规语言模型尝试预测句子中即将出现的下一个单词。如果片段是“The people sat down on the …,”,那么算法将预测出“bench”或“grass”之类的单词。为了给单词附加所有潜在含义的词向量,这个团队使用了双向语言模型。

使用双向模型意味着,该模型可以通过一个二次的回顾性算法,获取句子的结尾并尝试预测出现在句子结尾前边的单词。当模型尝试分析的单词出现在句首,并且相关上下文随即出现时,这会非常有用。

“就像‘He lies to his teacher’与‘He lies on the sofa’这种情况”,Peters说道。

为测试ELMo的技能,该团队利用六种不同的NLP任务(包括情绪分析和问答等)对算法进行测试。与之前使用相同训练数据的方法相比,ELMo每次都会得到更新、更出色的结果,在某些情况下可以比之前的领先模型提升25%的速度。

“在NLP中,很重要的一点是,单一的方法能够提高多样化任务的性能”,Peters指出。

ELMo在半监督式学习领域大放异彩

在进行自然语言处理时,训练数据的类型非常关键。例如,问答系统使用的模型无法在任何旧文本上进行训练。通常,此类模型需要在由带标注的问题和答案对组成的大型数据库中训练,以学习如何做出正确的回答。

标注数据非常耗时并且成本高昂。因此,研究人员首先选择使用包含大约十亿个单词的大型无标记学术数据库来训练ELMo。然后,针对特定任务(例如问答)将此数据库调整为一个带标注的小型数据库。对于这种结合使用大量无标记数据和一小部分已标记数据的方法,统称为“半监督式学习”。

减少对已标记和带标注数据的依赖后,研究人员可以更轻松地在现实问题中应用其NLP模型应用。

“在我们的示例中,我们选择了一个未标记的学术数据库来训练语言模型”,Peters说道。但是研究人员能够调整算法,以便在任何其他未标记的数据库中运行该算法,也可以将其应用于生物医学论文、法律合同或其他语言等专业领域中。

与之前最先进(SOTA)的基准相比,ELMo在六个基准NLP任务中都增强了神经模型的性能。从左到右,这些任务依次是:语义推理、命名实体识别、问题回答、指代消解、语义角色标注和情感分类。

研究人员通过Amazon Web Service,使用NVIDIA Tesla V100和K80 GPU助力训练和推理。

在后续论文中,研究人员指出其仅使用了几百个已标记示例,便可应用ELMo模式回答几何问题。人工需要花费几个小时便能完成此标记工作,但却会显著提高NLP模型的性能。

ELMo已作为开源库提供。Peters表示其他的NLP研究人员已经将此模型应用到了他们自己的工作中,包括除英语外的其他语言。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 神经网络
    +关注

    关注

    42

    文章

    4732

    浏览量

    100393
  • nlp
    nlp
    +关注

    关注

    1

    文章

    483

    浏览量

    21984

原文标题:“躲避”or“鸭子”:看深度学习如何解释多义词

文章出处:【微信号:NVIDIA-Enterprise,微信公众号:NVIDIA英伟达企业解决方案】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    BP神经网络和卷积神经网络的关系

    BP神经网络(Backpropagation Neural Network)和卷积神经网络(Convolutional Neural Network,简称CNN)是两种在人工智能和机器学习领域
    的头像 发表于 07-10 15:24 1009次阅读

    BP神经网络和人工神经网络的区别

    BP神经网络和人工神经网络(Artificial Neural Networks,简称ANNs)之间的关系与区别,是神经网络领域中一个基础且重要的话题。本文将从定义、结构、算法、应用及未来发展等多个方面,详细阐述BP
    的头像 发表于 07-10 15:20 678次阅读

    全连接前馈神经网络与前馈神经网络的比较

    Neural Network, FCNN)和前馈神经网络(Feedforward Neural Network, FNN)因其结构简单、易于理解和实现,成为了研究者们关注的热点。本文将从概念、模型结构、优缺点以及应用场景等方面,对全连接前馈
    的头像 发表于 07-09 10:31 7945次阅读

    rnn是递归神经网络还是循环神经网络

    RNN(Recurrent Neural Network)是循环神经网络,而非递归神经网络。循环神经网络是一种具有时间序列特性的神经网络,能够处理序列数据,具有记忆功能。以下是关于循环
    的头像 发表于 07-05 09:52 458次阅读

    递归神经网络是循环神经网络

    递归神经网络(Recurrent Neural Network,简称RNN)和循环神经网络(Recurrent Neural Network,简称RNN)实际上是同一个概念,只是不同的翻译方式
    的头像 发表于 07-04 14:54 583次阅读

    循环神经网络和卷积神经网络的区别

    循环神经网络(Recurrent Neural Network,RNN)和卷积神经网络(Convolutional Neural Network,CNN)是深度学习领域中两种非常重要的神经网络
    的头像 发表于 07-04 14:24 968次阅读

    深度神经网络与基本神经网络的区别

    在探讨深度神经网络(Deep Neural Networks, DNNs)与基本神经网络(通常指传统神经网络或前向神经网络)的区别时,我们需要从多个维度进行深入分析。这些维度包括
    的头像 发表于 07-04 13:20 546次阅读

    bp神经网络和反向传播神经网络区别在哪

    神经网络在许多领域都有广泛的应用,如语音识别、图像识别、自然语言处理等。然而,BP神经网络也存在一些问题,如容易陷入局部最优解、训练时间长、对初始权重敏感等。为了解决这些问题,研究者们提出了一些改进的BP
    的头像 发表于 07-04 09:51 358次阅读

    卷积神经网络与循环神经网络的区别

    在深度学习领域,卷积神经网络(Convolutional Neural Networks, CNN)和循环神经网络(Recurrent Neural Networks, RNN)是两种极其重要
    的头像 发表于 07-03 16:12 2046次阅读

    反向传播神经网络和bp神经网络的区别

    神经网络在许多领域都有广泛的应用,如语音识别、图像识别、自然语言处理等。然而,BP神经网络也存在一些问题,如容易陷入局部最优解、训练时间长、对初始权重敏感等。为了解决这些问题,研究者们提出了一些改进的BP
    的头像 发表于 07-03 11:00 574次阅读

    bp神经网络是深度神经网络

    Network)有相似之处,但它们之间还是存在一些关键的区别。 一、引言 神经网络是一种模拟人脑神经元结构的计算模型,它由大量的神经元(或称为节点)组成,这些神经元通过权重连接在一起
    的头像 发表于 07-03 10:14 563次阅读

    bp神经网络和卷积神经网络区别是什么

    BP神经网络(Backpropagation Neural Network)和卷积神经网络(Convolutional Neural Network,简称CNN)是两种不同类型的人工神经网络,它们在
    的头像 发表于 07-03 10:12 860次阅读

    卷积神经网络和bp神经网络的区别

    卷积神经网络(Convolutional Neural Networks,简称CNN)和BP神经网络(Backpropagation Neural Networks,简称BPNN)是两种
    的头像 发表于 07-02 14:24 2166次阅读

    鼾声监测神经网络

    )频谱图中提取特征,然后使用递归神经网络(RNN)处理顺序CNN输出,将音频信号分类为打鼾或非打鼾事件。 尽管大多数深度学习算法在打鼾和非打鼾发作的分类中表现良好,但这些研究仍存在一些不足。首先,培训
    发表于 05-15 12:14

    详解深度学习、神经网络与卷积神经网络的应用

    处理技术也可以通过深度学习来获得更优异的效果,比如去噪、超分辨率和跟踪算法等。为了跟上时代的步伐,必须对深度学习与神经网络技术有所学习和研究。本文将介绍深度学习技术、神经网络与卷积神经网络
    的头像 发表于 01-11 10:51 1820次阅读
    详解深度学习、<b class='flag-5'>神经网络</b>与卷积<b class='flag-5'>神经网络</b>的应用