0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

谷歌开源了一款工具名为What-If,无需编写代码就能分析一款机器学习模型

zhKF_jqr_AI 来源:未知 作者:李倩 2018-09-24 08:57 次阅读

编者按:如果不用写代码就能对机器学习模型进行审查,那会是怎样的体验?今天,谷歌开源了一款工具,名为What-If,具体有以下几种功能:

对推断结果可视化;

编辑数据点,看模型会有怎样的反应;

研究单一特征对模型的影响;

研究反事实样本;

用相似度安排样本;

查看混淆矩阵和ROC曲线;

测试算法公平性。

以下是论智对这一工具进行的详细介绍:

打造高效的机器学习系统意味着要问很多问题,仅仅训练模型是不够的,优秀的机器学习专家会像侦探一样,对模型进行详细调查,以更好地理解它们:数据点的改变将如何影响模型的预测?针对不同的群体,模型的表现有何不同?我要测试的数据集中包含多少种类的数据?

想要回答这类问题可并不容易。研究机器学习模型的使用场景通常要用定制的、一次性的代码分析。这一过程不仅低效,而且对不会编程的人员也不友好。谷歌AI PAIR计划其中一个努力方向就是让更多的人能参与到机器学习系统的检查、评估和debug中来。

今天,我们发布What-If工具,这是一款新的开源TensorBoard网页应用,能让我们无需编写代码就能分析一款机器学习模型。给定一个TensorFlow模型和数据集,What-If工具可以展示出表现模型结果的交互界面。

What-If工具,展示了250张人脸图像和模型在其中检测微笑的结果

What-If工具有多种功能,包括用Facets自动对你的数据集进行可视化、从数据集中手动编辑样本的能力以及观察这些变化带来的影响、并且自动生成partial dependence plots,展示模型的预测是如何随着单一特征的变化而变化的。接下来就是对这两种特征的详细介绍。

在一个数据点上探索what-if场景

反事实(counterfactuals)

只需要点击鼠标,你就能比较一个数据点和另一个相似的数据点,但模型在后者上预测出了不同的结果。我们将这样的数据点称为“counterfactuals”,它们可以告诉你有关模型决策边界的信息

在下方的截图中,这款工具就用到了一个二元分类模型上,它是根据UCI的人口普查数据来判断某人的收入是否大于5万美元。这是很多机器学习研究者都会用到的预测模型,尤其是分析算法的公平性时。在这个案例中,对于选择的数据点,模型预测出的结果有73%的置信度认为该人的收入高于5万美金。该工具自动定位了数据集中另一位与之相似的对象,但模型预测他的收入小于5万美金,并将这两个目标进行了比对。在这种情况下,对年龄和职业进行稍稍改动,模型的预测就有了变化。

比较counterfactuals

分析模型性能和算法公平性

你还可以探索不同分类阈值所带来的不同影响,下方的截图展示了另一个微笑监测模型的结果,他在开源的CelebA数据集上进行的训练,该数据集含有经过标记的名人人脸图像。在下方的案例中,数据集中的人脸根据头发颜色进行了分类,每两组数都有一个ROC曲线和针对预测的混淆矩阵,以及设置了模型判断人脸在微笑的信心有多少。在这个案例中,两组数据的置信区间是用该工具自动设置的,从而保证公平性。

比较两部分数据在微笑探测器上的性能

Demos

为了说明What-If工具的能力,我们用预训练模型展示了一套demo:

检测错误分类:一个多种类分类模型,它可以从众多植物中预测某株植物的种类。这一工具在展示模型决策边界、判断如何造成错误分类时是非常有用的。模型是在UCI iris数据集上进行训练的。

评估二元分类模型中的公平性:正是上文中我们提到的微笑探测模型。What-If工具可以帮助我们在多个分类中评估算法公平性。模型在训练时没有提供任何具体任务的图片,为的就是证明What-If工具能如何帮助模型解除偏见。评估公平性需要仔细考虑所有语境,但这的确是有用的量化起始点。

在不同子集中研究模型性能:例如一个可以预测目标对象年龄的回归模型,What-If工具就可以展示与模型相关的其他子集上的性能信息,以及不同的特征是如何影响预测结果的。模型同样是在UCI人口普查数据集上进行的训练。

在实际中应用What-If工具

我们在谷歌内部团队中对What-If进行了测试,发现了它的很多好处。其中一个团队很快就发现了他们的模型忽视了数据集中的一个重要的特征,从而修复了之前没有发现的代码bug。另一个团队用该工具对它们的样本性能进行从优到劣的可视化排序,让他们看到了模型样本的类型构成。

不论是谷歌的员工还是其他领域的从业者,我们都希望这款工具能让用户更好地了解机器学习模型,并对公平性有所了解。另外,此工具的代码是开源的,欢迎大家尝试并提出意见。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 谷歌
    +关注

    关注

    27

    文章

    6208

    浏览量

    106178
  • 机器学习
    +关注

    关注

    66

    文章

    8455

    浏览量

    133174
  • 数据集
    +关注

    关注

    4

    文章

    1211

    浏览量

    24880

原文标题:有了谷歌这款What-If工具,无需代码即可掌握模型的所有资料

文章出处:【微信号:jqr_AI,微信公众号:论智】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    相关推荐

    一款基于ESP8266的开源智能硬件平台

    一款基于微信控制的开源智能硬件开发板。支持微信控制、语音控制、语音传输。开源资料:下载地址:https://bbs.elecfans.com/jishu_536930_1_1.html硬件原理图
    发表于 12-28 21:58

    转: 一款基于Arduino开发板的可编程开源插座

    与市场现成的智能插座不同,一款名为 Portlet 的插座是基于阿杜伊诺(Arduino)开发板设计且开源的,它能够实现对众多家用电器的远程控制。 别看 Portlet 只有 4 个按钮和
    发表于 08-03 16:51

    ASIHTTPRequest是一款极其强劲的HTTP访问开源项目

    ASIHTTPRequest是一款极其强劲的HTTP访问开源项目。让简单的API完成复杂的功能,如:异步请求,队列请求,GZIP压缩,缓存,断点续传,进度跟踪,上传文件,HTTP认证在新的版本中,还加入了Objective-C闭包Block的支持,让我们的
    发表于 07-11 07:15

    谷歌推出了一款名为“Clips”的新设备 并开始销售这款产品

    据外媒报道,去年10月,谷歌推出了一款名为“Clips”的新设备,它是一款使用人工智能(AI)技术的摄像头,当它“看到”有趣的东西时就会拍下合适的照片。
    的头像 发表于 01-30 14:15 4767次阅读

    Google AI推出“what-if工具,测试机器学习模型不用写代码

    What-If工具功能强大,可以使用Facets自动显示数据集,从数据集手动编辑示例并查看更改的效果,还能自动生成部分依赖图(partial dependence plots),显示模型的预测结果随任何单个功能的更改而变化的情况
    的头像 发表于 09-24 08:54 2685次阅读

    谷歌新推无程式码机器学习模型分析工具

    机器学习模型训练完成后,需要经过反覆的探索调校,What-If Tool不需撰写任何程式码,就能探索
    的头像 发表于 09-14 14:47 2555次阅读

    亚马逊推出了一款名为Inferentia的新型专用机器学习芯片

    据报道,在拉斯维加斯举行的AWS re:Invent上,亚马逊宣布一款名为Inferentia的新型专用机器学习芯片。
    发表于 11-29 14:19 1809次阅读

    亚马逊正在测试一款名为Scout的送货机器

    据外媒报道,今天,亚马逊正在华盛顿州斯诺霍米什县测试一款名为Scout的送货机器人。
    的头像 发表于 01-27 09:33 4697次阅读

    一款开源检测入侵用户的工具

    介绍: Whoami***(司稽,先秦时抓小偷滴官员),永恒之锋发布的第一款开源工具,这是一款由shell编写的检测入侵用户的
    的头像 发表于 12-01 09:45 773次阅读

    开发一款segmentation标记的工具

    PixelAnnotationTool是一款简单方便的segmentation工具,之前所训练的道路区域检测模型,便是用这工具来标记道路区域。
    的头像 发表于 01-13 17:07 1995次阅读

    一款带有按钮的游戏开源分享

    电子发烧友网站提供《一款带有按钮的游戏开源分享.zip》资料免费下载
    发表于 02-02 14:39 0次下载
    <b class='flag-5'>一款</b>带有按钮的游戏<b class='flag-5'>开源</b>分享

    介绍一款专用的电机设计和分析工具

    Ansys Motor-CAD是一款专用的电机设计和分析工具。它可以在整个工作范围内对电机进行快速准确的多物理场设计和分析
    的头像 发表于 02-03 09:36 1624次阅读

    防范机器学习IP失窃,恩智浦推出一款“防偷”神器!

    恩智浦新推出的eIQ Model Watermarking工具是eIQ工具包的部分,可帮助开发人员保护其机器学习
    的头像 发表于 02-04 12:40 664次阅读

    一款用于Windows的开源反rookit (ARK)工具

    OpenArk 是一款用于 Windows 的开源反 rookit (ARK) 工具。Ark是Anti-Rootkit的缩写,它是一款逆向/编程帮手,也是用户发现操作系统中隐藏恶意软件
    的头像 发表于 07-19 15:08 3798次阅读
    <b class='flag-5'>一款</b>用于Windows的<b class='flag-5'>开源</b>反rookit (ARK)<b class='flag-5'>工具</b>

    Meta发布一款可以使用文本提示生成代码的大型语言模型Code Llama

    今天,Meta发布Code Llama,一款可以使用文本提示生成代码的大型语言模型(LLM)。
    的头像 发表于 08-25 09:06 1588次阅读
    Meta发布<b class='flag-5'>一款</b>可以使用文本提示生成<b class='flag-5'>代码</b>的大型语言<b class='flag-5'>模型</b>Code Llama