0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

梯度下降算法在深度学习中扮演着举足轻重的地位

wpl4_DeepLearni 来源:lp 2019-04-10 13:50 次阅读

老伙计梯度下降算法深度学习中扮演着举足轻重的地位,今天我们来从另一个角度来看这个算法的推演。

我们知道,对于一个足够光滑的函数,大一时候学过的泰勒展开公式告诉我们,在已知该函数在某一点的各阶导数值的情况之下,可以用这些导数值做系数构建一个多项式来近似函数在这一点的邻域中的值。于是,对于一个损失函数函数g(w),我们现在知道它在w0处的函数值以及各阶导数值,如何从w0出发来找到g(w)的极小值呢?我们可以对g(w)在w0点处展开,只保留到一阶导数,得到如下公式(其中▽表示梯度):

需要注意的是,泰勒公式是一个近似表达式,若w距离w0越近,则近似效果越准确;反过来,若w偏离w0较大,那么近似效果就会比较差。因此,我们在用上式来代表g(w)的时候,应该遵守一个约束条件,这个约束是w距离w0的距离要足够小。我们可以用距离公式,表示距离的公式有很多,使用最常见的欧几里得距离公式,并且为了接下来求导方便,加上一个系数1/(2*lr)在前面,于是寻找g(w)的最小值就变成了对下面表达式求关于w的梯度:

求完梯度之后并设置其等于0,即可得到我们非常熟悉的梯度下降算法的原始公式:

这里的欧几里得距离公式也可以换成其他距离公式(下文延伸分享其他距离公式)。这同样也解释了,我们为什么有时候在损失函数里面加上一个L2损失函数会更好,这样可以防止梯度更新步幅过大,进而引发损失值发生剧烈的抖动。

延伸:

距离表示的是一个集合中不同元素远近的度量,当距离为0的时候表示这两个元素是相同的。数学中,我们学过的距离主要有以下几种:

上氏中,当p取不同值得时候,又可以细分为不同的距离,当p=1,称为曼哈顿距离;当p=2,称为欧几里得距离;当p=∞,称为切比雪夫距离。我们不禁要问,它们的区别是什么?为了更形象地展示它们,我画了三幅图来区分,每幅图中箭头表示的是从中心点到各个格子中心点的度量:

图1,曼哈顿距离,它是所有坐标轴差值的求和,可以想象一个城市的街道是完全网格状的,那么你从一个地方走到另一个地方就必须得走成曼哈顿距离的形状。

图2,欧几里得距离,这种距离是最常见的,勾股定理中用的就是这种距离。

图3,切比雪夫距离,各个坐标轴差值的最大值。

明可夫斯基距离,又称明氏距离,是一个定义在赋范空间的距离,赋范空间是指一个由范数构成的向量空间,明氏距离具有平移不变性和同质性,它的公式如下:

除了明氏距离之外,我们在自然语言处理中还用过余弦距离,通常余弦距离是用来判断两个元素的相似度(例如文档或段落),我们可以通过如下公式来得到余弦距离的计算:

由此可见我们只关心两个向量的方向是否一致,而并不关心它们各自的幅度。当余弦值为1的时候,代表两个方向完全一致,即有相似性;当余弦值为0的时候,代表两个方向正交,可能只有少量相似性;当余弦值为-1的时候,方向完全相反,没有相似性。

还有一种距离也蛮常见,叫做马氏距离,它是衡量一个点到一个分布之间的距离,或者说偏离程度。给定分布的均值μ和协方差S,从点x到该分布的马氏距离的计算公式如下:

以上就是我们常见的距离及其表达式。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 算法
    +关注

    关注

    23

    文章

    4608

    浏览量

    92845
  • 梯度
    +关注

    关注

    0

    文章

    30

    浏览量

    10318
  • 深度学习
    +关注

    关注

    73

    文章

    5500

    浏览量

    121117

原文标题:从泰勒展开来看梯度下降算法

文章出处:【微信号:DeepLearningDigest,微信公众号:深度学习每日摘要】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    智能电表作用举足轻重 直接影响电能表行业发展及走向

    智能电网建设,作为连接电网与用户的重要节点,智能电表的作用举足轻重,成为实现智能电网“信息化、自动化、互动化”特征基础的关键环节和先行者,直接影响了电能表行业的发展空间及走向,对中国电能表产业的推动,具有重要意义。 来源:(中国IGBT产业网)
    发表于 06-05 15:42

    为什么PVC管我国巨大的塑料管的地位举足轻重

    【钢丝管】我国巨大的塑料管材市场,PVC管的地位举足轻重。作为产量最大并在管材市场占据近七成份额的PVC管,一直都是投资的热点。但正是这种近乎盲目的集中投资,导致PVC管材行业陷入
    发表于 08-25 11:59

    薪酬与绩效的举足轻重

    ,来创建优秀团队,并推动组织变革与创新,最终实现组织的持续发展。  困扰企业的诸多人力资源问题中,绩效与薪酬往往是举足轻重的。虽然随着管理理念的普及,大多数企业和HR工作者对于绩效和薪酬有了基本的认识
    发表于 11-09 10:37

    神经网络结构搜索有什么优势?

    ,稍有不同就无法复现论文的结果。而网络结构作为一种特殊的超参数,深度学习整个环节扮演着举足轻重
    发表于 09-11 11:52

    传感器透析机扮演着重要角色

    传感器透析机扮演着重要角色,传感器的平台化技术令设计人员受益颇多。为达到向患者提供温度与体温相同的流体,保障患者安全,透析机同时采用了温度管理解决方案与压力传感器。从单独的一家配
    发表于 05-11 06:09

    Soc是如何诞生的?

    的体验需要基于强大的硬件性能。而手机的综合性能由处理器、RAM、ROM以及软件上的驱动/系统优化所决定,其中手机处理器则扮演着一个举足轻重的角色。
    发表于 02-25 06:38

    请问模数片上集成节能领域扮演着什么样的角色?

    模数片上集成节能领域扮演着什么样的角色?
    发表于 04-13 06:41

    传感器物联网的发展过程扮演着举足轻重的角色

    作为物联网的前端感知部件,传感器物联网的发展过程扮演着举足轻重的角色。中国电子元件行业协会敏感元器件与传感器分会公布的数据显示,中国传感器的市场保持持续增长态势,增长速度超过15%
    发表于 05-23 15:33 1749次阅读

    5G对物联网产业的升级起着举足轻重的作用

    5G高带宽、低时延、广连接的特性让其成为全球通信行业乃至整个社会的超级话题。5G与云计算、大数据、人工智能等技术的深度融合,将进一步激活物联网的规模应用,万物互联时代正加速到来。处于标准化芯片与高度碎片化的垂直应用领域中间环节的通信模组,对5G时代物联网产业的升级起着举足轻重
    发表于 08-02 10:06 1077次阅读

    AGV惯导仓储物流领域中有着举足轻重地位

    仓储物流AGV机器人的几种模式 AGV惯导仓储物流的领域有着举足轻重地位,AGV转移机器人作为物流配备主动化水平最高的商品,越来越多地使用于仓储、制作、医疗等多个行业范畴。 对比
    发表于 06-11 11:30 750次阅读

    我国连接器市场全球中有着举足轻重地位

    也已经举足轻重。 全球互接零组件制造企业 XKBConnectivity推出兼容molex51021的产品。星坤XKB推出的X9821可以直接替代molex莫仕连接器51021的同类产品,其主要优点是性价比高,大大缩短了交期。为广大终端客户提供快速优质的服务。 这款连接器的安全性能好,而且
    的头像 发表于 10-22 11:37 1688次阅读

    MCU功耗目前的电池供电应用中正变得越来越举足轻重

    MCU功耗目前的电池供电应用中正变得越来越举足轻重。大多MCU微控制器芯片厂商都提供低功耗产品,但是选择一款最适合自己应用的产品并非易事,并不像查询对比数据表的数据那么简单。 选择低功率MCU
    发表于 11-17 16:02 626次阅读

    GPU深度学习的应用与优势

    人工智能的飞速发展,深度学习作为其重要分支,正在推动着诸多领域的创新。在这个过程,GPU扮演着不可或缺的角色。就像超级英雄电影的主角一样
    的头像 发表于 12-06 08:27 1311次阅读
    GPU<b class='flag-5'>在</b><b class='flag-5'>深度</b><b class='flag-5'>学习</b><b class='flag-5'>中</b>的应用与优势

    ASML光刻机技术的领航者,挑战与机遇并存

    ASML半导体产业扮演着举足轻重的角色,其光刻机技术和市场地位对于全球半导体制造厂商来说都具有重要意义。
    发表于 03-05 11:26 1214次阅读

    数据台工具的选型要点

    数据台工具扮演着举足轻重的角色。想要全面理解数据台工具的意义、作用以及应用方式,就必须深入探讨这一概念以及相关实践。
    的头像 发表于 04-24 15:07 303次阅读