0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

3个方法教AI学会遗忘

mK5P_AItists 来源:未知 作者:胡薇 2018-06-13 09:43 次阅读

大部分人不会喜欢遗忘的感觉。回到家顺手把钥匙丢在一个角落就再也想不起来放在哪儿了,街角偶遇一个同事却怎么拍脑袋也叫不出他的名字……我们害怕遗忘,讨厌遗忘。

然而,生而为人,健忘其实是种关键能力。对于人类而言,遗忘绝不仅仅是“想不起来”,而是一个帮助大脑吸收新信息并锻炼有效决策的积极过程。现在,数据科学家们正在尝试应用神经科学原理来改进机器学习,并且坚信人类大脑能够解锁图灵完备的人工智能

人脑为什么需要遗忘

我们的大脑被普遍认作为信息过滤器。先放入一大堆乱七八糟的数据,筛选有用的信息,然后清理任何不相关的细节,用以陈述故事或作出决策。清除没用的细节是为了给新数据腾出储存空间,类似在计算机上运行磁盘清理。

用神经生物学的术语来说,遗忘发生于神经元之间的突触连接减弱或者消失之时,同时随着新神经元的发育,他们又会重新连接海马回路,覆盖现有记忆。

对于人类来说,遗忘有两个好处:

通过减少过时信息对我们决策的影响来增强灵活性

防止过度拟合过去的特定事件和促进概括能力

为了有效地适应环境,人类需要有策略性遗忘的能力。

计算机也需要遗忘?

计算机的遗忘与人类的不同,这是人工智能面临的一大挑战。深度神经网络在完成机器学习任务方面非常成功,但它们的遗忘方式也与我们不一样。

举一个简单的例子,如果你教一个讲英语的孩子学习西班牙语,这个孩子会在学习过程中应用英语学习的技巧,比如名词、动词动态、句子建立方法等。同时他会忘记那些不相关的部分,比如口音、嘟囔、语调等。如此,这个孩子可以在策略性遗忘的同时逐渐学习和建立新的思维方式。

相比之下,如果你已经训练了一个神经网络去学习英语,那么它的参数则已经适应了英语问题的解法。此时你要教它学习西班牙语,它就会生成新的适应系统并覆盖以前为学习英语所获得的知识,删除所有内容并重新开始。这被称作“灾难性遗忘”,并被认为是“神经网络的一个根本局限”。

虽然这还是一个新领域,最近科学家们已经在探索克服这种限制的潜在理论,并取得了长足的进步。

3个方法教AI学会遗忘

长短期记忆网络(LSTM)

LSTM是一种循环神经网络,它使用特定的学习机制来决定在任意一个节点哪些信息需要记住,哪些需要更新,哪些需要关注。

LSTM工作机制如何?一个简单的解释是拿电影来做类比:假设一个计算机正在尝试通过分析先前的场景来预测电影中接下来会发生的事。一个场景是一个女人拿着一把刀,计算机会猜测她是一个厨师还是凶手呢?另一个场景中,一个女人和一个男人在金色拱门下吃寿司:计算机会猜他们是在日本还是麦当劳呢?或者其实他们是在圣路易斯?

大拱门是美国圣路易斯的标志性建筑

LSTM通过以下3步提升神经网络:

遗忘/记忆

“当场景结束,模型应该忘记当前场景的位置,所处时间,并重置任何特定场景的信息;然而,如果场景中的一个角色死亡了,机器则应该继续记住他不再活着的事实。因此,我们希望机器能学习掌握一个相互独立的遗忘/记忆机制,这样当新信息进来时,它知道什么观念该保留什么该丢弃。”

——Edwin Chen

保存

当模型看到一张新图像,它需要了解这个图像是否有什么信息值得被使用和保存。如果一个女人在某个场景中路过广告牌,机器应该记住这个广告牌还是将其视作噪声数据忽略掉呢?

划重点

我们可能需要记住电影中的这个女人是个母亲这一信息点,因为我们稍后会看见她的孩子们,但是这个信息在她不出现的场景里可能并不重要,所以在那些场景里我们不需要重点关注。同样,并非所有存储在神经网络的长期记忆中的内容都是立即相关的,所以LSTM所做的就是在安全保存所有信息备用的同时,帮助决定哪一部分在哪一时刻被重点关注。

弹性权重固化(EWC)

EWC是由谷歌旗下DeepMind的研究人员于2017年3月创建的一种算法,旨在模拟一种被称为突触整合的神经科学过程。在突触整合过程中,我们的大脑评估一项任务,计算许多用于执行任务的神经元的重要性,同时权衡哪些神经元对正确执行任务更为重要。

这些关键的神经元被编译为重要的,并且在随后的任务中相对不可能被覆盖。同样,在神经网络中,多个连接(如神经元)被用于执行任务。EWC将一些连接编译为至关重要的,从而保护他们不被覆盖/遗忘。

在下面的图表中,你可以看到研究人员将EWC应用于Atari游戏时发生了什么。蓝线表示标准的深度学习过程,红线及棕线则由EWC提供以显示改进后的结果:

瓶颈理论

瓶颈理论由耶路撒冷希伯来大学的计算机科学家和神经科学家Naftali Tishby在2017年秋提出。这个构想是,网络摆脱了嘈杂的无关细节的输入数据,就好比用瓶颈将信息挤压,只保留与基本概念最相关的特征。

Tishby解释说,神经网络经历了两个阶段的学习——拟合与压缩。在拟合过程中,网络标记其训练数据;而在更漫长的压缩过程中,它“丢弃关于数据的信息,只跟踪最强大的特征”,也即是那些最能帮助它泛化的特征。通过这种方式,压缩成为策略性遗忘的一种方式,掌控这一瓶颈也可能成为AI研究人员用于构建未来更强大神经网络的新目标和体系的一个工具。

正如Tishby所说:“遗忘才是学习过程中最重要的一部分。”

人类大脑和遗忘的过程中,有可能藏着通往强AI的密码。但科学家们仍在上下求索。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 计算机
    +关注

    关注

    19

    文章

    7525

    浏览量

    88379
  • AI
    AI
    +关注

    关注

    87

    文章

    31338

    浏览量

    269738

原文标题:教机器遗忘或许比学习更重要:让AI健忘的三种方式

文章出处:【微信号:AItists,微信公众号:人工智能学家】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    器的革新:无线连接,无限可能

    的机器人运动轨迹示教主要依赖于有线示器,这些示器需要通过控制线与控制柜相连。由于电缆线一对一连接的特性,通常一器只能控制与之相连的一
    的头像 发表于 11-12 11:44 288次阅读
    示<b class='flag-5'>教</b>器的革新:无线连接,无限可能

    Llama 3 与开源AI模型的关系

    在人工智能(AI)的快速发展中,开源AI模型扮演着越来越重要的角色。它们不仅推动了技术的创新,还促进了全球开发者社区的合作。Llama 3,作为一新兴的
    的头像 发表于 10-27 14:42 405次阅读

    什么是拖动示?机器人拖动示方式分析

    随着拖动示在协作机器人、并联机器人上的应用,将调试技术趋向快速、简便的方向发展,满足生产企业应用机器人进行及时、高效的生产需求,以及在工业4.0和“中国制造 2025”的背景下,适应现代工业快速
    的头像 发表于 10-23 15:52 663次阅读
    什么是拖动示<b class='flag-5'>教</b>?机器人拖动示<b class='flag-5'>教</b>方式分析

    协作机器人拽拖示详解

          协作机器人的拖动示是一种简化机器人编程的方法,通过人类操作员直接引导机器人进行任务执行,而无需进行复杂的编程。下面是关于协作机器人拖动示的详细解释。      拖动示
    的头像 发表于 10-23 15:52 271次阅读

    BitEnergy AI公司开发出一种新AI处理方法

    BitEnergy AI公司,一家专注于人工智能(AI)推理技术的企业,其工程师团队创新性地开发了一种名为线性复杂度乘法(L-Mul)的AI处理方法。该
    的头像 发表于 10-22 15:15 418次阅读

    汇川技术联合启动“产融合实践中心”项目

    汇川技术与中国职业技术教育学会将携手并进,紧密围绕国家重大战略和区域经济发展需求,聚焦工业智能控制领域的关键产业链和岗位链,计划在五年内建设100开放型产融合实践中心,并逐步辐射全国,形成具有广泛影响力的产
    的头像 发表于 10-14 13:55 490次阅读

    AI for Science:人工智能驱动科学创新》第4章-AI与生命科学读后感

    领域的研究人员的工作模式相融合,也是一亟待解决的问题。然而,这些挑战也孕育着新的机遇。随着技术的不断进步和应用场景的拓展,AI在生命科学领域的应用将更加广泛和深入,为科学家们提供更多的研究工具和方法
    发表于 10-14 09:21

    AI for Science:人工智能驱动科学创新》第二章AI for Science的技术支撑学习心得

    的训练和推理提供了强大的算力支持,使得AI在科学研究中的应用更加广泛和深入。 3. 数据驱动的研究范式 第二章还强调了数据在AI for Science中的核心地位。数据是AI模型的输
    发表于 10-14 09:16

    人工智能ai4s试读申请

    目前人工智能在绘画对话等大模型领域应用广阔,ai4s也是方兴未艾。但是如何有效利用ai4s工具助力科研是需要研究的课题,本书对ai4s基本原理和原则,
    发表于 09-09 15:36

    工业机器人示器按钮功能介绍

    工业机器人示器是一关键的人机交互设备,通过它操作者可以操作工业机器人运动、完成示编程、实现对系统的设定、故障诊断等。以下是工业机器人示器上常见按钮的功能介绍: 一、紧急停止与安
    的头像 发表于 09-04 09:44 3372次阅读

    视频3--场景自动化AI助手

    AI
    草帽王路飞
    发布于 :2024年07月22日 11:16:13

    ai大模型训练方法有哪些?

    AI大模型训练方法是一复杂且不断发展的领域。以下是ai大模型训练方法: 数据预处理和增强 数据清洗:去除噪声和不完整的数据。 数据标准化:
    的头像 发表于 07-16 10:11 1676次阅读

    工业机器人示器可以通用吗?给你5点建议

          示器通常也叫示编程器或示盒,是进行机器人的手动操纵、程序编写、参数配置以及监控用的手持装置;是机器人控制系统的核心部件,是一用来注册和存储机械运动或处理记忆的设备,
    的头像 发表于 03-23 08:42 886次阅读

    主板用STM32H7B3I-DK然后配一普通的摄像头,可以实现视觉AI吗?

    主板用STM32H7B3I-DK然后配一普通的摄像头,可以实现视觉AI
    发表于 03-19 06:44

    3种双控开关的接线方法

    3种双控开关的接线方法  双控开关是常用的电气元件之一,能够实现同一电路的多个位置进行开关控制。它一般由两普通开关和一互补开关组成,通过合理的接线,可以实现控制电路在不同位置进行开
    的头像 发表于 02-05 13:46 6004次阅读