0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Dropout怎么体现正则化作用?

汽车电子技术 来源:神经网络研究所 作者:NNResearcher 2023-03-01 10:24 次阅读

在学习CNN的时候,我读到Dropout具有正则化的作用时,不明白正则化的意思,查看了很多资料,写的都很深奥,这里我用简单的语言来记录一下。。

01

正则化定义

百度百科的定义写的非常的学术化,我用我的理解来叙述一遍:通俗的意义来讲就是我们想要通过一条光滑曲线(图中绿色的曲线)来最大程度的拟合另外一条歪七扭八的曲线(图中的蓝色曲线),这样我们就可以将这条歪七扭八存在诸多奇点的曲线通过方程的形式表达出来,这种做法就叫做正则化。

图片

这样做后,我们通过曲线来预测或者表示原图像的时候,结果势必就会有误差,如果没有误差会是什么呢?那就是说我们找了一条和图中蓝色曲线一模一样的线来表示蓝色的线,也就是说我们把一些有噪音的点也表示出来了,这种行为放在卷积中就叫做 过拟合 ,而在卷积中,相比较于过拟合曲线,我们更希望有一条正则化的曲线。换句话说,正则化的作用就是为了防止过拟合。那么Dropout是怎么实现过拟合的呢?

02

Dropout怎么防止过拟合

在第一眼看到Dropout的时候,我本来认为只是简单地舍弃了一些神经元而已,经过研究,我发现其中的原理并没有我想的那么简单。

图片

我们从图中看到,Dropout在每一层中通过概率来随机的舍弃一些神经元,注意!!!这些舍弃的神经元只是在这一次训练中被舍弃,而不是永久的被舍弃,也就是说,等到下一波数据到来的时候,其中一些神经元依然会参与训练,最后整个网络被训练完成后,图中所有的神经元都是被训练过的!那这么做有什么好处呢?

在左图的标准神经网络中,这只是一个神经网络在参与训练,而且容易发生过拟合。但是在右图中,每一次训练的时候,都是不同的神经元在参与训练,也就是说, 右图不仅仅是一个神经网络!!!而是具有数十个神经网络在一起训练!!!这就是Dropout的伟大之处! 这种方法就相当于,原来你是自己出谋划策,现在多了数十个军师为你出谋划策,每一次都只听取一个军师的意见,这种方法当然可以防止过拟合,而CNN的原理就是拟合一条曲线来表示每个输入,在我们解决了过拟合问题后,我们就认为Dropout具有正则化的作用!

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 曲线
    +关注

    关注

    1

    文章

    82

    浏览量

    20824
  • 方程
    +关注

    关注

    0

    文章

    33

    浏览量

    16907
  • 正则化
    +关注

    关注

    0

    文章

    17

    浏览量

    8119
收藏 人收藏

    评论

    相关推荐

    关于Dropout、BN及数据预处理方案

    Dropout 可以看作是 Bagging 的极限形式,每个模型都在当一种情况中训练,同时模型的每个参数都经过与其他模型共享参数,从而高度正则化。
    的头像 发表于 05-31 17:37 4294次阅读
    关于<b class='flag-5'>Dropout</b>、BN及数据预处理方案

    shell正则表达式学习

    正则表达式在计算机科学中,是指一个用来描述或者匹配一系列符合某个句法规则的字符串的单个字符串。在很多文本编辑器或其他工具里,正则表达式通常被用来检索和/或替换那些符合某个模式的文本内容。许多
    发表于 07-25 17:18

    赛灵思ISE® 设计套件11.1版对FPGA有什么优化作用

    每一版本都提供了完整的FPGA设计流程,并且专门针对特定的用户群体(工程师)和特定领域的设计方法及设计环境要求进行了优化。那大家知道赛灵思ISE® 设计套件11.1版对FPGA有什么优化作用吗?
    发表于 07-30 06:52

    字符串处理、正则表达式用法

    写程序的过程中经常会用到字符串的处理,Labview中给出了一些列的处理函数,但是有时候遇到问题还是不知道该如何处理,后来发现正则表达式是一个非常强大的东西,但是不会用,虽然根据网上的提示,自己可以
    发表于 12-18 13:45

    如何创建正则的表达式?

    正则表达式:用于匹配规律规则的表达式,正则表达式最初是科学家对人类神经系统的工作原理的早期研究,现在在编程语言中有广泛的应用,经常用于表单校验,高级搜索等。
    发表于 10-27 15:49

    在舵机控制上PWM的作用是怎么体现的呢

    PWM是什么?PWM如何通过电压或者电流的调节来实现转速控制?在舵机控制上,pwm的作用是怎么体现的呢?
    发表于 08-23 07:13

    如何使用QTIMER模块来实现正交解码

    RT1064之ADC例程Ps:本例程主要作用是,展示如何使用QTIMER模块来实现正交解码。主板为:逐飞RT1064 + 母板
    发表于 11-23 06:02

    初识 Python 正则表达式

    的结果如下:是否含有“两点水”这个字符串:True是否含有“两点水”这个字符串:True那么,如果使用正则表达式呢?刚刚提到过,Python 给我们提供了 re 模块来实现正则表达式的所有功能,那么我们先
    发表于 03-17 16:44

    dropout正则化技术介绍

    dropout技术是神经网络和深度学习模型的一种简单而有效的正则化方式。 本文将向你介绍dropout正则化技术,并且教你如何在Keras中用Python将其应用于你的模型。 读完本文
    发表于 10-10 10:38 2次下载

    加权正则文法语言

    正则文法是研究自动机的重要工具。引入取值于赋值幺半群的加权正则文法、加权类正则文法的定义,讨论了赋值幺半群上加权正则文法、加权类正则文法和加
    发表于 11-28 16:52 0次下载

    【连载】深度学习笔记5:正则化与dropout

    ,这种外层的正则化起到了防止过拟合的作用。      所以说,总体而言,dropout 的功能类似于 L2 正则化,但又有所区别。另外需要注意的一点是,对于一个多层的神经网络,我们的
    的头像 发表于 08-20 12:47 3239次阅读

    深度学习笔记5:正则化与dropout

    ,这种外层的正则化起到了防止过拟合的作用。      所以说,总体而言,dropout 的功能类似于 L2 正则化,但又有所区别。另外需要注意的一点是,对于一个多层的神经网络,我们的
    的头像 发表于 08-24 18:31 3859次阅读

    UPIoT的主要作用和价值体现

    基于此,本文探讨了 UPIoT 的主要作用和价值体现,分析了物联网技术在发电、输电、变电、配电和用电 5 个环节中的已有基础,阐述了未来透明电网和零边际成本电网的概念、内涵和发展趋势。最后,本文提出了 UPIoT 的若干技术挑战。
    的头像 发表于 01-06 14:02 4001次阅读

    Python正则表达式指南

    本文介绍了Python对于正则表达式的支持,包括正则表达式基础以及Python正则表达式标准库的完整介绍及使用示例。本文的内容不包括如何编写高效的正则表达式、如何优化
    发表于 03-26 09:13 10次下载
    Python<b class='flag-5'>正则</b>表达式指南

    python正则表达式中的常用函数

    编译正则表达式模式,返回一个正则对象的模式。(可以把那些常用的正则表达式编译成正则表达式对象,这样可以提高一点效率。)
    的头像 发表于 03-18 16:12 1749次阅读