0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

前沿高端技术之递归神经网络(RNN)

恬静简朴1 来源:恬静简朴1 作者:恬静简朴1 2022-07-20 10:17 次阅读

递归神经网络(RNN)

RNN是最强大的模型之一,它使我们能够开发如分类、序列数据标注、生成文本序列(例如预测下一输入词的SwiftKey keyboard应用程序),以及将一个序列转换为另一个序列(比如从法语翻译成英语的语言翻译)等应用程序。大多数模型架构(如前馈神经网络)都没有利用数据的序列特性。例如,我们需要数据呈现出向量中每个样例的特征,如表示句子、段落或文档的所有token。前馈网络的设计只是为了一次性地查看所有特征并将它们映射到输出。让我们看一个文本示例,它显示了为什么顺序或序列特性对文本很重要。I had cleaned my car和I had my car cleaned两个英文句子,用同样的单词,但只有考虑单词的顺序时,它们才意味着不同的含义。

人类通过从左到右阅读词序列来理解文本,并构建了可以理解文本数据中所有不同内容的强大模型。RNN的工作方式有些许类似,每次只查看文本中的一个词。RNN也是一种包含某特殊层的神经网络,它并不是一次处理所有数据而是通过循环来处理数据。由于RNN可以按顺序处理数据,因此可以使用不同长度的向量并生成不同长度的输出。图6.3提供了一些不同的表示形式。

pYYBAGLXZaCAdvgGAAEUWD-FqNE532.png

图6.3来自关于RNN一个著名博客(http://karpathy.github.io/2015/05/21/rnn-effectiveness),其中作者Andrej Karpathy写明了如何使用Python从头开始构建RNN并将其用作序列生成器。

6.4.1通过示例了解RNN如何使用

假设我们已经构建了一个RNN模型,并且尝试了解它提供的功能。当了解了RNN的作用后,就可以来探讨一下RNN内部发生了什么。

让我们用Thor的评论作为RNN模型的输入。我们正在看的示例文本是the action scenes were top notch in this movie... .首先将第一个单词the传递给模型;该模型生成了状态向量和输出向量两种不同的向量。状态向量在处理评论中的下一个单词时传递给模型,并生成新的状态向量。我们只考虑在最后一个序列中生成的模型的输出。图6.4概括了这个过程。

poYBAGLXZaCAHZoUAABUjeo1fNI802.png

图6.4演示了以下内容:

· RNN如何通过展开和图像来工作;

· 状态如何以递归方式传递给同一模型。

到现在为止,我们只是了解了RNN的功能,但并不知道它是如何工作的。在了解其工作原理之前来看一些代码片段,它会更详细地展示我们学到的东西。仍然将RNN视为黑盒:

在上述代码中,hidden变量表示状态向量,有时也称为隐藏状态。到现在为止,我们应该知道了如何使用RNN。现在来看一下实现RNN的代码,并了解RNN内部发生的情况。以下代码包含RNN类:

除了上述代码中的单词RNN之外,其他一切听起来与在前面章节中使用的非常类似,因为PyTorch隐藏了很多反向传播的复杂度。让我们通过init函数和forward函数来了解发生了什么。

__init__函数初始化了两个线性层,一个用于计算输出,另一个用于计算状态或隐藏向量。

forward函数将input向量和hidden向量组合在一起,并将其传入两个线性层,从而生成输出向量和隐藏状态。对于output层,我们应用log_softmax函数。

initHidden函数有助于创建隐藏向量,而无需在第一次时声明调用RNN。让我们通过图6.5了解RNN类的作用。

pYYBAGLXZaCAG_4oAABGtsqyyso002.png

图6.5说明了RNN的工作原理。

审核编辑 黄昊宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 神经网络
    +关注

    关注

    42

    文章

    4762

    浏览量

    100519
  • 深度学习
    +关注

    关注

    73

    文章

    5491

    浏览量

    120958
收藏 人收藏

    评论

    相关推荐

    LSTM神经网络与传统RNN的区别

    在深度学习领域,循环神经网络RNN)因其能够处理序列数据而受到广泛关注。然而,传统RNN在处理长序列时存在梯度消失或梯度爆炸的问题。为了解决这一问题,LSTM(长短期记忆)神经网络
    的头像 发表于 11-13 09:58 171次阅读

    递归神经网络的实现方法

    递归神经网络(Recursive Neural Network,简称RNN)是一种特殊类型的神经网络,其特点在于能够处理具有层次或树状结构的数据,并通过
    的头像 发表于 07-10 17:02 274次阅读

    rnn递归神经网络还是循环神经网络

    RNN(Recurrent Neural Network)是循环神经网络,而非递归神经网络。循环神经网络是一种具有时间序列特性的
    的头像 发表于 07-05 09:52 489次阅读

    rnn是什么神经网络模型

    RNN(Recurrent Neural Network,循环神经网络)是一种具有循环结构的神经网络模型,它能够处理序列数据,并对序列中的元素进行建模。RNN在自然语言处理、语音识别、
    的头像 发表于 07-05 09:50 516次阅读

    rnn是什么神经网络

    RNN(Recurrent Neural Network,循环神经网络)是一种具有循环连接的神经网络,它能够处理序列数据,并且具有记忆能力。与传统的前馈神经网络(Feedforward
    的头像 发表于 07-05 09:49 564次阅读

    递归神经网络结构形式主要分为

    递归神经网络(Recurrent Neural Networks,简称RNN)是一种具有时间序列处理能力的神经网络,其结构形式多样,可以根据不同的需求进行选择和设计。本文将介绍
    的头像 发表于 07-05 09:32 455次阅读

    递归神经网络与循环神经网络一样吗

    递归神经网络(Recursive Neural Network,RvNN)和循环神经网络(Recurrent Neural Network,RNN)是两种不同类型的
    的头像 发表于 07-05 09:28 683次阅读

    rnn神经网络模型原理

    RNN(Recurrent Neural Network,循环神经网络)是一种具有循环结构的神经网络,它能够处理序列数据,具有记忆功能。RNN在自然语言处理、语音识别、时间序列预测等领
    的头像 发表于 07-04 15:40 486次阅读

    RNN神经网络适用于什么

    RNN(Recurrent Neural Network,循环神经网络)是一种具有循环结构的神经网络,它可以处理序列数据,具有记忆功能。RNN在许多领域都有广泛的应用,以下是一些
    的头像 发表于 07-04 15:04 840次阅读

    递归神经网络主要应用于哪种类型数据

    递归神经网络(Recurrent Neural Network,简称RNN)是一种具有循环结构的神经网络,能够处理序列数据。它在许多领域都有广泛的应用,以下是对
    的头像 发表于 07-04 14:58 514次阅读

    递归神经网络是循环神经网络

    递归神经网络(Recurrent Neural Network,简称RNN)和循环神经网络(Recurrent Neural Network,简称R
    的头像 发表于 07-04 14:54 625次阅读

    递归神经网络的结构、特点、优缺点及适用场景

    递归神经网络(Recurrent Neural Networks,简称RNN)是一种具有循环结构的神经网络,其核心特点是能够处理序列数据,并对序列中的信息进行记忆和传递。
    的头像 发表于 07-04 14:52 1046次阅读

    循环神经网络递归神经网络的区别

    循环神经网络(Recurrent Neural Network,简称RNN)和递归神经网络(Recursive Neural Network,简称RvNN)是深度学习中两种重要的
    的头像 发表于 07-04 14:19 771次阅读

    什么是RNN(循环神经网络)?RNN的基本原理和优缺点

    RNN(Recurrent Neural Network,循环神经网络)是一种专门用于处理序列数据的神经网络结构,它能够在序列的演进方向上进行递归,并通过所有节点(循环单元)的链式连接
    的头像 发表于 07-04 11:48 2785次阅读

    什么是RNN (循环神经网络)?

    循环神经网络 (RNN) 是一种深度学习结构,它使用过去的信息来提高网络处理当前和将来输入的性能。RNN 的独特之处在于该网络包含隐藏状态和
    发表于 02-29 14:56 3838次阅读
    什么是<b class='flag-5'>RNN</b> (循环<b class='flag-5'>神经网络</b>)?