0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

在PyTorch中使用ReLU激活函数的例子

给予听风 来源:给予听风 作者:给予听风 2022-07-06 15:27 次阅读

PyTorch已为我们实现了大多数常用的非线性激活函数,我们可以像使用任何其他的层那样使用它们。让我们快速看一个在PyTorch中使用ReLU激活函数的例子:

在上面这个例子中,输入是包含两个正值、两个负值的张量,对其调用ReLU函数,负值将取为0,正值则保持不变。

现在我们已经了解了构建神经网络架构的大部分细节,我们来构建一个可用于解决真实问题的深度学习架构。上一章中,我们使用了简单的方法,因而可以只关注深度学习算法如何工作。后面将不再使用这种方式构建架构,而是使用PyTorch中正常该用的方式构建。

1.PyTorch构建深度学习算法的方式

PyTorch中所有网络都实现为类,创建PyTorch类的子类要调用nn.Module,并实现__init__和forward方法。在init方法中初始化层,这一点已在前一节讲过。在forward方法中,把输入数据传给init方法中初始化的层,并返回最终的输出。非线性函数经常被forward函数直接使用,init方法也会使用一些。下面的代码片段展示了深度学习架构是如何用PyTrorch实现的:

如果你是Python新手,上述代码可能会比较难懂,但它全部要做的就是继承一个父类,并实现父类中的两个方法。在Python中,我们通过将父类的名字作为参数传入来创建子类。init方法相当于Python中的构造器,super方法用于将子类的参数传给父类,我们的例子中父类就是nn.Module。

2.不同机器学习问题的模型架构

待解决的问题种类将基本决定我们将要使用的层,处理序列化数据问题的模型从线性层开始,一直到长短期记忆(LSTM)层。基于要解决的问题类别,最后一层是确定的。使用机器学习或深度学习算法解决的问题通常有三类,最后一层的情况通常如下。

·对于回归问题,如预测T恤衫的销售价格,最后使用的是有一个输出的线性层,输出值为连续的。

·将一张给定的图片归类为T恤衫或衬衫,用到的是sigmoid激活函数,因为它的输出值不是接近1就是接近0,这种问题通常称为二分类问题。

·对于多类别分类问题,如必须把给定的图片归类为T恤、牛仔裤、衬衫或连衣裙,网络最后将使用softmax层。让我们抛开数学原理来直观理解softmax的作用。举例来说,它从前一线性层获取输入,并输出给定数量样例上的概率。在我们的例子中,将训练它预测每个图片类别的4种概率。记住,所有概率相加的总和必然为1。

3.损失函数

一旦定义好了网络架构,还剩下最重要的两步。一步是评估网络执行特定的回归或分类任务时表现的优异程度,另一步是优化权重。

优化器(梯度下降)通常接受一个标量值,因而loss函数应生成一个标量值,并使其在训练期间最小化。某些用例,如预测道路上障碍物的位置并判断是否为行人,将需要两个或更多损失函数。即使在这样的场景下,我们也需要把损失组合成一个优化器可以最小化的标量。最后一章将详细讨论把多个损失值组合成一个标量的真实例子。

上一章中,我们定义了自己的loss函数。PyTorch提供了经常使用的loss函数的实现。我们看看回归和分类问题的loss函数。

回归问题经常使用的loss函数是均方误差(MSE)。它和前面一章实现的loss函数相同。可以使用PyTorch中实现的loss函数,如下所示:

对于分类问题,我们使用交叉熵损失函数。在介绍交叉熵的数学原理之前,先了解下交叉熵损失函数做的事情。它计算用于预测概率的分类网络的损失值,损失总和应为1,就像softmax层一样。当预测概率相对正确概率发散时,交叉熵损失增加。例如,如果我们的分类算法对图3.5为猫的预测概率值为0.1,而实际上这是只熊猫,那么交叉熵损失就会更高。如果预测的结果和真实标签相近,那么交叉熵损失就会更低。

图3.5

下面是用Python代码实现这种场景的例子。

为了在分类问题中使用交叉熵损失,我们真得不需要担心内部发生的事情——只要记住,预测差时损失值高,预测好时损失值低。PyTorch提供了loss函数的实现,可以按照如下方式使用。

PyTorch包含的其他一些loss函数如表3.1所示。

表3.1

L1 loss

通常作为正则化器使用;第4章将进一步讲述

MSE loss

均方误差损失,用于回归问题的损失函数

Cross-entropy loss

交叉熵损失,用于二分类和多类别分类问题

NLL Loss

用于分类问题,允许用户使用特定的权重处理不平衡数据集

NLL Loss2d

用于像素级分类,通常和图像分割问题有关

4.优化网络架构

计算出网络的损失之后,需要优化权重以减少损失,并改善算法准确率。简单起见,让我们看看作为黑盒的优化器,它们接受损失函数和所有的学习参数,并微量调整来改善网络性能。PyTorch提供了深度学习中经常用到的大多数优化器。如果大家想研究这些优化器内部的动作,了解其数学原理,强烈建议浏览以下博客:

PyTorch提供的一些常用的优化器如下:

·ADADELTA

·Adagrad

·Adam

·SparseAdam

·Adamax

·ASGD

·LBFGS

·RMSProp

·Rprop

·SGD

最后欢迎大家一起讨论,共同进步,共同学习

审核编辑:汤梓红

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 函数
    +关注

    关注

    3

    文章

    4327

    浏览量

    62573
  • python
    +关注

    关注

    56

    文章

    4792

    浏览量

    84630
  • pytorch
    +关注

    关注

    2

    文章

    808

    浏览量

    13201
收藏 人收藏

    评论

    相关推荐

    stuido中使用hal函数使用tim中断使能,程序进b Infinite_Loop,为什么?

    stuido中使用hal函数使用tim中断使能,导致程序进 b Infinite_Loop。
    发表于 09-13 07:21

    pytorch怎么pycharm中运行

    第一部分:PyTorch和PyCharm的安装 1.1 安装PyTorch PyTorch是一个开源的机器学习库,用于构建和训练神经网络。要在PyCharm中使
    的头像 发表于 08-01 16:22 1378次阅读

    PyTorch中搭建一个最简单的模型

    PyTorch中搭建一个最简单的模型通常涉及几个关键步骤:定义模型结构、加载数据、设置损失函数和优化器,以及进行模型训练和评估。
    的头像 发表于 07-16 18:09 1962次阅读

    神经元模型激活函数通常有哪几类

    神经元模型激活函数是神经网络中的关键组成部分,它们负责神经元之间引入非线性,使得神经网络能够学习和模拟复杂的函数映射。以下是对神经元模型激活
    的头像 发表于 07-11 11:33 1029次阅读

    如何在PyTorch中实现LeNet-5网络

    PyTorch中实现LeNet-5网络是一个涉及深度学习基础知识、PyTorch框架使用以及网络架构设计的综合性任务。LeNet-5是卷积神经网络(CNN)的早期代表之一,由Yann LeCun
    的头像 发表于 07-11 10:58 772次阅读

    前馈神经网络的基本结构和常见激活函数

    激活函数的非线性变换,能够学习和模拟复杂的函数映射,从而解决各种监督学习任务。本文将详细阐述前馈神经网络的基本结构,包括其组成层、权重和偏置、激活
    的头像 发表于 07-09 10:31 774次阅读

    tensorflow和pytorch哪个更简单?

    PyTorch更简单。选择TensorFlow还是PyTorch取决于您的具体需求和偏好。如果您需要一个易于使用、灵活且具有强大社区支持的框架,PyTorch可能是一个更好的选择。如果您需要一个
    的头像 发表于 07-05 09:45 847次阅读

    BP神经网络激活函数怎么选择

    中,激活函数起着至关重要的作用,它决定了神经元的输出方式,进而影响整个网络的性能。 一、激活函数的作用 激活
    的头像 发表于 07-03 10:02 674次阅读

    卷积神经网络激活函数的作用

    卷积神经网络(Convolutional Neural Networks, CNNs)是深度学习中一种重要的神经网络结构,广泛应用于图像识别、语音识别、自然语言处理等领域。卷积神经网络中,激活函数
    的头像 发表于 07-03 09:18 870次阅读

    如何使用PyTorch建立网络模型

    PyTorch是一个基于Python的开源机器学习库,因其易用性、灵活性和强大的动态图特性,深度学习领域得到了广泛应用。本文将从PyTorch的基本概念、网络模型构建、优化方法、实际应用等多个方面,深入探讨使用
    的头像 发表于 07-02 14:08 407次阅读

    神经网络中激活函数的定义及类型

    引言 神经网络是一种模拟人脑神经元结构的计算模型,广泛应用于图像识别、自然语言处理、语音识别等领域。神经网络中,激活函数起着至关重要的作用,它决定了神经元的输出值,进而影响整个网络的性能。本文将
    的头像 发表于 07-02 10:09 514次阅读

    神经网络中的激活函数有哪些

    神经网络中,激活函数是一个至关重要的组成部分,它决定了神经元对于输入信号的反应方式,为神经网络引入了非线性因素,使得网络能够学习和处理复杂的模式。本文将详细介绍神经网络中常用的激活
    的头像 发表于 07-01 11:52 575次阅读

    PyTorch激活函数的全面概览

    为了更清晰地学习Pytorch中的激活函数,并对比它们之间的不同,这里对最新版本的Pytorch中的激活
    的头像 发表于 04-30 09:26 543次阅读
    <b class='flag-5'>PyTorch</b>中<b class='flag-5'>激活</b><b class='flag-5'>函数</b>的全面概览

    如何在DSADC中使用外部生成载波而不是aurix生成的激发波的例子

    你好,有没有关于如何在 DSADC 中使用外部生成载波而不是 aurix 生成的激发波的例子? 背景:当定子和转子角度为 90 度时,我试图通过尝试馈送来自函数生成器的信号来模拟解析器位置。 由于
    发表于 01-22 07:37

    KEIL中使用C对M0编程时怎样对函数指定地址呢?

    KEIL中使用C对M0编程时怎样对函数指定地址呢?对变量和常数的定位没问题,就是函数总搞不好。谢谢。
    发表于 01-18 07:14