电子发烧友App

硬声App

0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示
创作
电子发烧友网>电子资料下载>电子资料>PyTorch教程5.3之前向传播、反向传播和计算图

PyTorch教程5.3之前向传播、反向传播和计算图

2023-06-05 | pdf | 0.14 MB | 次下载 | 免费

资料介绍

到目前为止,我们已经用小批量随机梯度下降训练了我们的模型。然而,当我们实现该算法时,我们只担心通过模型进行前向传播所涉及的计算。当需要计算梯度时,我们只是调用了深度学习框架提供的反向传播函数。

梯度的自动计算(自动微分)大大简化了深度学习算法的实现。在自动微分之前,即使是对复杂模型的微小改动也需要手动重新计算复杂的导数。令人惊讶的是,学术论文常常不得不分配大量页面来推导更新规则。虽然我们必须继续依赖自动微分,以便我们可以专注于有趣的部分,但如果您想超越对深度学习的肤浅理解,您应该知道这些梯度是如何在底层计算的。

在本节中,我们将深入探讨反向传播(通常称为反向传播)的细节。为了传达对技术及其实现的一些见解,我们依赖于一些基本的数学和计算图。首先,我们将重点放在具有权重衰减的单隐藏层 MLP 上(ℓ2 正则化,将在后续章节中描述)。

5.3.1. 前向传播

前向传播(或forward pass)是指神经网络从输入层到输出层依次计算和存储中间变量(包括输出)。我们现在逐步了解具有一个隐藏层的神经网络的机制。这可能看起来很乏味,但用放克演奏家詹姆斯布朗的永恒名言来说,你必须“付出代价才能成为老板”。

为了简单起见,我们假设输入示例是 x∈Rd并且我们的隐藏层不包含偏差项。这里的中间变量是:

(5.3.1)z=W(1)x,

在哪里W(1)∈Rh×d是隐藏层的权重参数运行中间变量后 z∈Rh通过激活函数 ϕ我们获得了长度的隐藏激活向量h,

(5.3.2)h=ϕ(z).

隐藏层输出h也是一个中间变量。假设输出层的参数只具有权重W(2)∈Rq×h,我们可以获得一个输出层变量,其向量长度为q:

(5.3.3)o=W(2)h.

假设损失函数是l示例标签y,然后我们可以计算单个数据示例的损失项,

(5.3.4)L=l(o,y).

根据定义ℓ2我们稍后将介绍的正则化,给定超参数λ,正则化项是

(5.3.5)s=λ2(‖W(1)‖F2+‖W(2)‖F2),

其中矩阵的 Frobenius 范数就是ℓ2将矩阵展平为向量后应用范数。最后,模型在给定数据示例上的正则化损失为:

(5.3.6)J=L+s.

我们指的是J作为下面讨论中的目标函数。

5.3.2. 前向传播的计算图

绘制计算图有助于我们可视化计算中运算符和变量的依赖关系。图 5.3.1 包含与上述简单网络相关的图形,其中方块表示变量,圆圈表示运算符。左下角表示输入,右上角表示输出。请注意箭头的方向(说明数据流)主要是向右和向上。

https://file.elecfans.com/web2/M00/A9/C6/poYBAGR9NK6AJFQWAACGowUha5Y731.svg

图 5.3.1前向传播计算图。

5.3.3. 反向传播

反向传播是指计算神经网络参数梯度的方法。简而言之,该方法根据微 积分的链式法则以相反的顺序遍历网络,从输出层到输入层。该算法存储计算某些参数的梯度时所需的任何中间变量(偏导数)。假设我们有函数 Y=f(X)Z=g(Y), 其中输入和输出 X,Y,Z是任意形状的张量。通过使用链式法则,我们可以计算导数 Z关于X通过

(5.3.7)∂Z∂X=prod

下载该资料的人也在下载 下载该资料的人还在阅读
更多 >

评论

查看更多

下载排行

本周

  1. 1PC1013三合一快充数据线充电芯片介绍
  2. 1.03 MB   |  7次下载  |  免费
  3. 2PCB板EMC/EMI的设计技巧
  4. 0.20 MB   |  3次下载  |  免费
  5. 32024PMIC市场洞察
  6. 2.23 MB   |  2次下载  |  免费
  7. 4MCF8315EVM评估模块
  8. 2.09MB   |  1次下载  |  免费
  9. 5ADI高性能电源管理解决方案
  10. 2.43 MB   |  1次下载  |  免费
  11. 6UC3842工作原理及开关电源电路
  12. 0.08 MB   |  1次下载  |  免费
  13. 7JFG-AS02微量程扭矩传感器数据表
  14. 0.32 MB   |  1次下载  |  免费
  15. 8JFG-3D02三维力传感器数据表
  16. 0.58 MB   |  1次下载  |  免费

本月

  1. 1XL4015+LM358恒压恒流电路图
  2. 0.38 MB   |  147次下载  |  1 积分
  3. 2新概念模拟电路第四册信号处理电路电子书免费下载
  4. 10.69 MB  |  65次下载  |  免费
  5. 3PCB布线和布局电路设计规则
  6. 0.40 MB   |  29次下载  |  免费
  7. 4智能门锁原理图
  8. 0.39 MB   |  12次下载  |  免费
  9. 5GB/T4706.1-2024 家用和类似用途电器的安全第1部分:通用要求
  10. 7.43 MB   |  11次下载  |  1 积分
  11. 6JESD79-5C_v1.30-2024 内存技术规范
  12. 2.71 MB   |  10次下载  |  免费
  13. 7elmo直线电机驱动调试细则
  14. 4.76 MB   |  9次下载  |  6 积分
  15. 8PC1013三合一快充数据线充电芯片介绍
  16. 1.03 MB   |  7次下载  |  免费

总榜

  1. 1matlab软件下载入口
  2. 未知  |  935115次下载  |  10 积分
  3. 2开源硬件-PMP21529.1-4 开关降压/升压双向直流/直流转换器 PCB layout 设计
  4. 1.48MB  |  420061次下载  |  10 积分
  5. 3Altium DXP2002下载入口
  6. 未知  |  233084次下载  |  10 积分
  7. 4电路仿真软件multisim 10.0免费下载
  8. 340992  |  191367次下载  |  10 积分
  9. 5十天学会AVR单片机与C语言视频教程 下载
  10. 158M  |  183330次下载  |  10 积分
  11. 6labview8.5下载
  12. 未知  |  81581次下载  |  10 积分
  13. 7Keil工具MDK-Arm免费下载
  14. 0.02 MB  |  73806次下载  |  10 积分
  15. 8LabVIEW 8.6下载
  16. 未知  |  65985次下载  |  10 积分