0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

谷歌大脑开发人类翻译器 打破AI黑盒新方式

电子工程师 来源:cc 2019-01-29 09:59 次阅读

如果一个医生告诉你需要做手术,你肯定会想知道为什么,进一步地,你会希望他给你一个就算没学过医也能听得懂的明确解释。谷歌大脑(Google Brain)的研究科学家Been Kim认为,我们应该对人工智能抱有同样的期望。作为“可解释”机器学习的专家,她希望构建一个能够向任何人解释人工智能的软件。

自从十年前人工智能兴起以来,人工智能中的神经网络技术已经从电子邮件渗透到了药物研究等各个方面,它具有越来越强大的能力来学习和识别出数据中的模式。

但这种能力带来了一个让人头疼的问题:现代深度学习网络之所以能够实现自动驾驶和保险欺诈识别这样的壮举,主要原因在于网络的复杂性,其复杂度之高让神经网络专家也不能解释清楚网络内部到底是怎么工作的。

如果一个神经网络被训练来识别有患肝癌和精神分裂症等疾病风险的患者,例如2015年纽约Mount Sinai医院的“深度患者”系统,我们无法得知网络关注的是数据中的哪些特征,因为神经网络的层数太多了,每层中神经元还有成百上千个连接。

越来越多的行业正在试图通过人工智能实现自动化决策或增强他们的决策制定依据,这个所谓的黑盒问题不是技术上的问题,而是神经网路的根本性缺陷。

DARPA的“XAI”项目(针对“可解释的人工智能”)正在积极钻研这个问题,可解释性在机器学习中的地位越来越高。Kim认为:“人工智能正处于发展的关键时刻,我们需要判断这项技术是否对我们有益。如果我们不能解决可解释性问题,人工智能的发展可能会受到阻碍甚至被放弃。”

Kim和她在Google Brain的同事最近开发了一个名为“概念激活向量测试”(TCAV)的系统,她将该系统描述为“人类翻译器”,允许用户查询黑盒人工智能工作过程,即一个特定的高级概念在其训练中发挥了多大作用。例如,如果一个机器学习系统被训练来识别图像中的斑马,那么人们可以使用TCAV来确定系统在做出决策时“条纹”特征起了多重要的作用。

TCAV最初是在用于识别图像的机器学习模型上进行测试的,但它也适用于文本和某些特定类型图形数据(如脑电图波形)的模型。 Kim表示,TCAV的通用性让它能够解释许多不同的模型。

在Quanta杂志的采访中Kim讨论了可解释性意味着什么,以及它为什么现在受到了这么多的关注。下面是一个经过编辑和浓缩的采访版本。

Q:你的职业生涯专注于机器学习的“可解释性”,但那个词究竟意味着什么呢?

A:可解释性有两个重要意义。对于科学研究来说:如果你把神经网络作为研究对象,那么你就可以进行科学实验来真正理解模型的训练过程、神经元是如何反馈信息等各种细节。

而对于实际应用来说:用户不必了解模型的每一个细节,只要用户能够正确地使用该工具即可。这个方面是我最关注的,也是我们最终想要达到的目标。

Q:你为什么会对一个你不完全理解运作细节的系统有信心?

A:我给你打个比方。假设我后院有一棵树,我想砍掉它,我可能会选择使用电锯去锯树。虽然现在,我不太了解电锯的工作原理是什么,但电锯的使用手册上说明了使用步骤等信息,我可以安全地使用它。所以,有了这本手册,我更愿意使用省时省力的电锯,而不是更安全的手锯。

就好像你知道怎么运用神经网络,但是你不完全知道这个机制是如何实现的?

对。这就是第二个可解释性的目标是:我们能充分理解一个工具,以便安全地使用它。我们可以通过确认工具中反映出的有用的人类知识来形成理解。

Q:“反映人类知识体系”为什么会使黑盒子AI变得更容易理解?

A:再举个例子解释一下,如果医生使用机器学习模型来进行癌症诊断,那么医生会想确认,该模型没有关注不必要的数据点。确保这一点的一种方法就是确认机器学习模型会做一些医生想要做的事情,换句话说,就是证明模型学习到了医生的诊断知识。

因此,如果医生正在使用一个细胞标本来诊断癌症,他们是为了在标本中寻找一种叫做“融合腺”的东西。同时,他们还需要考虑患者的年龄,以及患者过去是否接受过化疗等情况。这些都是医生诊断癌症时关心的因素,如果我们能证明机器学习模型也注意到了这些因素,那么模型就更容易被理解了,因为它反映了医生的知识体系。

Google Brain的Been Kim正在研究如何让我们理解机器学习系统做出的决定。

Q:那这就是TCAV的作用吗?是为了揭示机器学习模型正在使用哪些高级概念来做出决策吗?

A:对。在此之前,可解释性方法只解释了神经网络在“输入特征”方面所做的工作。简单来说,如果你有一张图像,每个像素都作为一个输入特征。事实上,Yann Lecun(一位早期的深度学习先驱,目前是Facebook的人工智能研究主管)认为,神经网络模型已经具有可解释性,因为你可以查看神经网络中的每个节点,并查看每个输入功能的数值。这对计算机来说没问题,但人类的思维表示不是这样的。我不会跟你说图像的 100到200像素的RGB值是0.2和0.3,我会告诉你照片中狗的毛发特别蓬松,这就是人类描述的方式,我们是通过概念来沟通的。

Q:TCAV如何把输入特征转换为概念?

A:让我们回到医生使用机器学习模型的例子,例子中已经训练过的模型对细胞标本的图像进行分类以确定潜在的癌症。作为医生,你可能想知道“融合腺体”的概念在预测癌症时对模型的重要性。首先你要收集一些有融合腺体的图像示例——假设你收集了20 幅。然后,你将这些带标签的示例输入到模型中。

TCAV在模型内部的作用被称为“灵敏度测试”。当我们添加这些标记为融合腺体的图片时,癌症阳性预测的概率增加了多少,可以用0到1之间的数值来表示,那就是你的TCAV分数。如果概率增加,那么这是模型的一个重要概念。如果没有,则不是一个重要概念。

Q:“概念”是一个模糊的术语。有没有TCAV不起作用的时候?

A:如果你无法使用数据集的某些子集来描述你的概念,那么它就不起作用。如果你的机器学习模型是用图像训练的,那么这个概念必须得是可视化表达的。比方说我想在视觉上表达“爱情”的概念就真的很难。

我们也仔细验证了这个概念。我们有一个统计测试程序,如果一个概念向量对模型的影响与随机向量相同,那么这个概念向量就会被程序抛弃。如果你的概念没有通过这个测试,那么TCAV会说:“我不知道。这个概念看起来不像对模型很重要的东西。”

Q:TCAV主要是用于在AI中建立信任,而不是真正理解它吗?

A:不,不是这样。接下来我会解释原因,因为它很好区分。

我们从认知学和心理学的反复研究中得知人类非常容易上当受骗。这意味着,骗一个人相信任某些东西实际上很容易。而机器学习的可解释性的目标正与此相反,它是要告诉你,使用某系统是否安全,并揭露背后的真相,所以“信任”这个词的表达并不准确。

Q:所以“可解释性”的意思是揭示AI推理中的潜在缺陷?

A:是的,正是这样。

Q:它如何揭示这些潜在缺陷?

A:您可以使用TCAV向受过训练的模型询问不相关的概念。回到使用AI进行癌症预测的医生的例子,医生可能会突然想到,“看起来机器对于许多带蓝色的图像给出癌症阳性预测。我们认为不应该考虑这个因素。”因此,如果TCAV对于“蓝色”给出高评分,那么他们就发现了机器学习模型中的一个问题。

TCAV旨在找出现有不可解释的AI系统。那为什么不从一开始就使用可解释的系统,而要使用黑盒呢?

可解释性研究的其中一个方面是构建反映人类理解过程的固有可解释模型。但我认为:现在许多用于重要目的AI模型在一开始都没有考虑可解释性,这才是事实。比如,我们谷歌就有很多!你可以说,“既然解释性是如此有用,那我为你建立另一个模型来取代你现有的模型吧。”好吧,那就祝你好运。

Q:那么你下一步要做什么?

决定这项技术是否对我们有利对我们来说仍然很关键。这就是我使用“事后可解释性”方法的原因。如果某人给你一个模型并且你无法改变它,你如何为其行为生成解释,以便你可以安全地使用它?这就是TCAV的工作。

Q:TCAV可以让人类询问AI某概念是否重要。但是如果我们不知道该问什么怎么办?如果我们想让AI系统自己给出解释呢?

A:我们目前正在编写的系统可以自动发掘概念。我们称之为DTCAV——发掘型TCAV。但实际上,我认为增加人为操作,并实现机器与人之间的对话,是实现可解释性的关键。

很多时候,在高风险的应用程序中,领域专家已经有了他们关心的概念列表。我们在Google Brain的医疗应用中不止一次看到这一点。他们不希望模型自己找出一系列概念——他们想要告诉模型他们感兴趣的概念。我们与治疗糖尿病视网膜病变(一种眼疾)的医生一起工作,当我们告诉她什么是TCAV的时候她非常兴奋,因为她已经有很多关于这个模型可能做什么的假设,现在她正好可以验证一下这些假设。TCAV实际上很有优势,因为它是一种以用户为中心的协作机器学习方式。

Q:AI技术非常强大,你真的认为人们会因为其不具备可解释性而放弃使用吗?

A:是的,我认为是这样。在专家系统上已经发生过类似的事情了。20世纪80年代,使用专家系统执行某些任务比雇佣人类操作员要便宜的多。但是现在谁还在使用专家系统?没人。因此,很久以后我们也可能会放弃使用AI技术。

当然目前放弃AI不太可能,因为AI现在被炒的很热,而且已经投入了大量的资金。但从长远来看,我认为人类可能会判定这种技术不适合我们,或许是出于恐惧,或许是因为其缺乏可解释性,这都是有可能的。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 谷歌
    +关注

    关注

    27

    文章

    6164

    浏览量

    105312
  • AI
    AI
    +关注

    关注

    87

    文章

    30763

    浏览量

    268906

原文标题:谷歌大脑开发机器思维的“人类翻译器”,打破AI“黑盒”新方式

文章出处:【微信号:BigDataDigest,微信公众号:大数据文摘】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    自旋忆阻:最像大脑的存储

      一种名为“自旋忆阻”的新型神经形态元件模仿人类大脑的节能运作,将AI应用程序的功耗降低到传统设备的1/100。TDK与法国研究机构CEA合作
    的头像 发表于 12-07 10:08 145次阅读

    MSPDebugStack开发人员指南

    电子发烧友网站提供《MSPDebugStack开发人员指南.pdf》资料免费下载
    发表于 12-05 14:49 0次下载
    MSPDebugStack<b class='flag-5'>开发人</b>员指南

    谷歌:聚焦AI与技术创新,携手中国开发者共筑未来

    2024年8月9日,备受瞩目的谷歌开发者大会——I/O Connect China圆满落幕。此次盛会,谷歌面向中国广大的开发者群体,全面展示了其在人工智能(
    的头像 发表于 08-09 17:03 882次阅读

    谷歌Chrome浏览新增三大AI功能,提升用户体验

    谷歌近日宣布,在其广受欢迎的Chrome浏览中引入了三项前沿的AI技术功能,旨在为用户提供更加智能、便捷的浏览体验。这些新功能由Gemini技术强力驱动,目前已在Chrome桌面版上线,标志着
    的头像 发表于 08-05 11:26 671次阅读

    如何在Python中开发人工智能

    在Python中开发人工智能(AI)是一个广泛而深入的主题,它涵盖了从基础的数据处理到复杂的机器学习、深度学习以及自然语言处理等多个领域。
    的头像 发表于 07-15 15:01 2139次阅读

    微软、谷歌等科技巨头承诺安全开发AI模型

    近日,微软、谷歌、OpenAI等16家科技巨头在“人工智能(AI)首尔峰会”上达成共识,承诺在AI模型的开发过程中注重安全性,并在无法控制最极端风险时关闭其尖端系统。
    的头像 发表于 05-22 11:25 500次阅读

    谷歌发布多模态AI新品,加剧AI巨头竞争

    在全球AI竞技场上,谷歌与OpenAI一直稳居领先地位。近日,谷歌在I/O开发者大会上掀起了一股新的技术浪潮,发布了多款全新升级的多模态AI
    的头像 发表于 05-16 09:28 446次阅读

    英伟达垄断地位遭挑战,谷歌、高通联手打破

    然而,一家名为UXL的联合体正在努力打破这一局面。该机构由高通、谷歌、英特尔、ARM等诸多知名科技巨头构成,意欲引导开发者从对英伟达芯片的依赖中走出,降低英伟达在AI领域的垄断性优势。
    的头像 发表于 03-26 15:24 487次阅读

    谷歌发布开源AI大模型Gemma

    近日,谷歌发布了全新AI大模型Gemma,这款模型为各种规模的组织提供了前所未有的机会,以负责任的方式在商业应用中进行分发。
    的头像 发表于 02-28 17:38 839次阅读

    谷歌发布轻量级开源人工智能模型Gemma

    谷歌近日宣布推出开源人工智能(AI)模型系列Gemma,旨在为开发人员和研究人员提供一个负责任的AI构建平台。这一举措标志着自2022年OpenAI的ChatGPT引领
    的头像 发表于 02-23 11:38 853次阅读

    【国产FPGA+OMAPL138开发板体验】(原创)5.FPGA的AI加速源代码

    OMAP-L138(定点/浮点DSP C674x+ARM9)+ FPGA处理开发板。 编写一个用于AI加速的FPGA程序是一个相当复杂的过程,涉及硬件描述语言(如VHDL或Verilog)以及针对特定
    发表于 02-12 16:18

    谷歌DeepMind资深AI研究员创办AI Agent创企

    近日,刚从谷歌DeepMind离职的资深AI研究员Ioannis Antonoglou宣布创办了一家名为“AI Agent”的创企。Ioannis Antonoglou常驻伦敦,此前曾担任谷歌
    的头像 发表于 02-04 10:02 784次阅读

    奥特曼称相信AI无法替代人类

    奥特曼称相信AI无法替代人类 AI对于人类的威胁一直有很多讨论,各有不同观点,很多人对于科幻电影中的场景AI机器人伤害
    的头像 发表于 01-19 11:43 873次阅读

    NXT4559SIM卡接口级翻译器产品介绍

    电子发烧友网站提供《NXT4559SIM卡接口级翻译器产品介绍.pdf》资料免费下载
    发表于 01-03 16:30 0次下载
    NXT4559SIM卡接口级<b class='flag-5'>翻译器</b>产品介绍

    谷歌发布全新AI SDK,简化安卓应用集成

    谷歌破茧而出,全新发布 Google AI SDK,引领 Android 应用迈向高性能 AI 集成新时代。这次发布的 SDK,专门为 Android 应用打造,将 Gemini Pro 模型的能力无缝融入应用中。对于
    的头像 发表于 01-03 14:18 822次阅读