0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

通过删除神经元来理解深度学习

8g3K_AI_Thinker 来源:未知 作者:李倩 2018-03-26 11:45 3654次阅读

深度学习算法近年来取得了长足的进展,也给整个人工智能领域送上了风口。但深度学习系统中分类器和特征模块都是自学习的,神经网络的可解释性成为困扰研究者的一个问题,人们常常将其称为黑箱。但理解深度神经网络的工作原理,对于解释其决策方式,并建立更强大的系统至关重要。

近日,DeepMind 发布了其关于神经网络可解释性的最新研究成果,他们通过删除网络中的某些神经元组,从而判定其对于整个网络是否重要。核心发现有如下两点:

可解释的神经元(例如“猫神经元”)并不比难以解释的神经元更重要。

泛化性良好的网络对于删除神经元的操作更具适应性。

深度神经网络由许多独立的神经元组成,这些神经元以复杂且反直觉的方式结合起来,进而解决各种具有挑战性的任务。这种复杂性赋予了神经网络强大的功能,但也使其成为一个令人困惑且不透明的黑箱。

理解深度神经网络的工作原理,对于解释其决策、建立更强大的系统至关重要。想象一下,在不了解各个齿轮如何装配的情况下,制造一块钟表的难度会有多大。在神经科学和深度学习领域中,理解神经网络的一种方法是研究单个神经元的作用,特别是那些容易解释的神经元。

我们即将在第六届国际学习表征会议(ICLR)上发表关于单一方向泛化重要性的研究,它采用了一种受实验神经科学启发的方法——探索损伤的影响——来确定深层神经网络中的小组神经元的重要性,以及更容易解释的神经元的重要性是否更高。

通过删除单个神经元和神经元组,我们测量了破坏网络对性能的影响。在实验中,我们有两个惊人的发现:

之前的许多研究都试图去理解容易解释的个体神经元(例如“猫神经元”,或者说深层网络中只有对猫的图像有反应的神经元),但是我们发现这些可解释的神经元并不比难以解释的神经元更重要。

与只能对已经见过的图像进行分类的网络相比,对未见过的图像也能正确分类的网络对神经元缺失有着更好的弹性。换句话说,泛化性良好的网络比泛化性差的网络对单方向的依赖性要小很多。

▌“猫神经元”或许更容易解释,但是它们的重要性并不会更高

在神经科学和深度学习中,容易解释的神经元(“选择性”神经元)已经被广泛分析,它们只对单一输入类别的图像(例如狗)有积极回应。在深度学习中,这导致了研究者对猫神经元(cat neurons)、情感神经元(sentiment neurons)和括号神经元(parentheses neurons)的重视。然而,与大多数具有低选择性、更令人费解、难以解释的活性的神经元相比,这些为数不多的具有高选择性神经元的相对重要性仍然未知。

与那些对看似随机的图像集作出积极或消极回应的令人困惑的神经元相比,具有清晰回应模式(比如只对“狗”积极回应,对其他一切类别消极回应)的神经元更容易解释。

为了评估神经元的重要性,我们测量了删除神经元后,神经网络在图像分类任务中的性能变化。如果一个神经元是非常重要的,删除它应该会产生严重的后果,而且网络性能会大大降低,而删除一个不重要的神经元应该没有什么影响。神经科学家通常进行类似的实验,尽管他们不能达到这些实验所必需的细粒度精度,但是在人工神经网络中则很容易实现。

删除神经元对简单神经网络影响的概念图。颜色越深,代表神经元越活跃。你可以在原网页上尝试单击隐藏层神经元删除它们,并查看输出神经元的活动变化。请注意,仅删除一个或两个神经元对输出的影响很小,而删除大多数神经元的影响很大,并且某些神经元比其他神经元更重要!

令人惊讶的是,我们发现选择性和重要性之间没有什么关系。换句话说,“猫神经元”并不比令人困惑的神经元更重要。这一发现与神经科学最近的研究成果相呼应,后者已经证明,令人困惑的的神经元实际上可以提供相当多的信息。为了理解深度神经网络,我们的研究不能只局限于最容易解释的神经元。

虽然“猫神经元”可能更容易记解释,但它们并不比令人困惑且没有明显偏好的神经元更加重要。

▌泛化能力更强的网络更不容易崩溃

虽然我们希望创建智能系统,但是只有当这个系统能够泛化到新的场景时,我们才能称之为智能系统。例如,如果一个图像分类网络只能对它见过的特定的狗的图像进行分类,却认不出同一只狗的最新图像时,这个网络就是无用的。这些系统只有在对新的实例进行智能分类时,才算是有作用的。

伯克利、Google Brain、DeepMind 最近合作发表的一篇论文在 ICLR 2017 上获得了最佳论文。该论文表明,深度网络可以简单地记住每一幅图像,而不是以更人性化的方式学习(例如,理解“狗”的抽象概念)。

然而,关于神经网络是否学习到了决定泛化能力的解,我们一直没有明确的答案。通过逐步删除越来越大的神经元群,我们发现,相比简单地记忆先前在训练中看到的图像的网络,泛化良好的网络对删除神经元的鲁棒性强得多。换句话说,泛化能力更强的网络更不容易崩溃(尽管这种情况可能发生)。

随着越来越多的神经元群被删除,泛化良好的网络的性能下降速度明显更慢。

通过这种方式测量神经网络的鲁棒性,我们可以评估这个网络是否在利用我们不希望的记忆能力在“作弊”。理解网络在记忆时如何是变化的,将有助于我们建立泛化能力更好的新网络。

▌受神经科学启发的分析方法

这些发现证明了,使用实验神经科学启发的技术可以帮助我们理解神经网络的能力。使用这些方法,我们发现高选择性的独立神经元并不比非选择性神经元更重要,并且泛化良好的网络比简单地记忆训练数据的网络对独立神经元的依赖性更小。这些结果暗示,独立神经元的重要性可能远不如我们认为的那么重要。

通过解释所有神经元的作用,而不仅仅是那些容易理解的神经元,我们希望更好地理解神经网络的内部工作原理,并且利用这种理解来构建更智能和更通用的系统。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 神经网络
    +关注

    关注

    42

    文章

    4787

    浏览量

    101383
  • 人工智能
    +关注

    关注

    1799

    文章

    47966

    浏览量

    241313

原文标题:DeepMind新成果:通过删除神经元来理解深度学习

文章出处:【微信号:AI_Thinker,微信公众号:人工智能头条】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    相关推荐

    采用单神经元自适应控制高精度空调系统仿真

    具有自学习、自适应功能的神经元控制算法引入高精度空调控制领域,并通过MATLAB仿真,考察了系统的控制效果。仿真结果表明此控制方法具有超调小、抗干扰能力强、控温精度高的优点,从而为空调系统的高精度控制提出了一个新的途径。关键词:
    发表于 03-18 22:28

    【案例分享】ART神经网络与SOM神经网络

    ,则重置模块将在识别层增设一个新的神经元,其代表向量就设置为当前输入向量。这一步我的个人理解通过这种做法可以一步步完善整个网络,使得分类更加准确。在西瓜书对应的这部分内容有下面一段话:显然,识别阈值
    发表于 07-21 04:30

    基于非联合型学习机制的学习神经元模型

    针对生物神经细胞所具有的非联合型学习机制,设计了具有非联合型学习机制的新型神经元模型学习神经元
    发表于 11-29 10:52 0次下载
    基于非联合型<b class='flag-5'>学习</b>机制的<b class='flag-5'>学习</b><b class='flag-5'>神经元</b>模型

    神经元深度学习 神经科学与人工智能结合有望

    如果神经元深度学习之间的关联得以确认,我们就能开发更好的脑机接口,从疾病治疗到增强智能,随之而来的应用也将开启各种可能。
    的头像 发表于 12-07 17:10 7794次阅读

    通过删除神经元理解深度学习

    理解深度神经网络的运作机制对于帮助我们解释它们的决定,以及构建更强大的系统起到了至关重要的作用。
    的头像 发表于 03-26 10:14 3409次阅读
    <b class='flag-5'>通过</b><b class='flag-5'>删除</b><b class='flag-5'>神经元</b><b class='flag-5'>理解</b><b class='flag-5'>深度</b><b class='flag-5'>学习</b>

    深度学习或者人工神经网络模拟了生物神经元

    深度学习里的神经元实质上是数学函数,即相似度函数。在每个人工神经元内,带权重的输入信号和神经元的阈值进行比较,匹配度越高,激活函数值为1并执
    的头像 发表于 04-17 14:53 5917次阅读

    基于Hebb学习规则的压电驱动器单神经元自适应迟滞补偿

    个非线性处理单元,非常适合于时变系统。基于单神经元控制,PEA的迟滞补偿可以看作是传递生物神经元信息的过程。通过实际轨迹与期望轨迹之间的误差信息,采用神经元
    发表于 05-07 08:00 4次下载
    基于Hebb<b class='flag-5'>学习</b>规则的压电驱动器单<b class='flag-5'>神经元</b>自适应迟滞补偿

    带延迟调整的脉冲神经元学习算法

    脉冲神经元有监督学习算法通过梯度下降法调整神经元的突触权值,但目标学习序列长度的增加会降低其精度并延长
    发表于 06-11 16:37 12次下载

    神经元的结构及功能是什么

    神经元神经系统的基本结构和功能单位,它们通过电信号和化学信号进行信息传递和处理。神经元的结构和功能非常复杂,涉及到许多不同的方面。 一、神经元
    的头像 发表于 07-03 11:33 1684次阅读

    神经元的分类包括哪些

    神经元神经系统的基本功能单位,它们通过电信号和化学信号进行信息传递和处理。神经元的分类非常复杂,可以根据不同的标准进行分类。 一、神经元
    的头像 发表于 07-03 11:36 1583次阅读

    人工神经元模型的三要素是什么

    人工神经元模型是人工智能和机器学习领域中非常重要的概念之一。它模仿了生物神经元的工作方式,通过数学和算法实现对数据的处理和
    的头像 发表于 07-11 11:13 1111次阅读

    人工神经元由哪些部分组成

    人工神经元深度学习神经网络和机器学习领域的核心组件之一。 1. 引言 在深入讨论人工神经元
    的头像 发表于 07-11 11:17 828次阅读

    人工神经元模型由哪两部分组成

    人工神经元模型是深度学习、机器学习和人工智能领域的基础,它模仿了生物神经元的工作原理,为构建复杂的神经
    的头像 发表于 07-11 11:24 1147次阅读

    人工神经元模型的基本原理是什么

    人工神经元模型是人工智能领域中的一个重要概念,它模仿了生物神经系统中的神经元行为,为机器学习深度学习
    的头像 发表于 07-11 11:26 1020次阅读

    人工神经元模型的基本构成要素

    人工神经元模型是人工智能领域中的一个重要概念,它模仿了生物神经元的工作方式,为机器学习深度学习提供了基础。本文将介绍人工
    的头像 发表于 07-11 11:28 1535次阅读