0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Google AI推出“what-if”工具,测试机器学习模型不用写代码!

DPVg_AI_era 来源:未知 作者:李倩 2018-09-24 08:54 次阅读

Google AI推出“what-if ”工具,用户完全不需要编写代码就能分析机器学习模型。该工具提供交互式可视化界面,用户可以探索并比较模型结果,可以快速地发现模型中的错误。

构建高效的机器学习系统,需要提出并解决许多问题。仅仅训练模型然后就放着不管是远远不够的。优秀的机器学习从业者要像侦探一样,时刻注意探索如何更好地理解构建的模型:数据点的变化将对模型的预测结果造成什么影响?同一个模型对不同的群体会有哪些不同的表现?用来测试模型的数据集的多样化程度如何等等。

要回答这些问题并不容易。要回答这些“假设”问题,通常要编写自定义的一次性代码来分析特定模型。这个过程不仅效率低下,而且除了程序员,其他人很难参与改进机器学习模型的过程。

Google AI PAIR计划的一个重点就是让更广泛的人群能够更方便地对机器学习系统进行检查、评估和调试。

今天,我们正式发布What-If工具,该工具是开源的TensorBoard Web应用程序的一项新功能,它允许用户在不编写代码的情况下分析机器学习模型。What-If工具给出了TensorFlow模型和数据集的指针,提供了一个交互式可视化界面,用于探索模型结果。

What-If工具显示一组250张面部图片及其检测微笑模型的结果

What-If工具功能强大,可以使用Facets自动显示数据集,从数据集手动编辑示例并查看更改的效果,还能自动生成部分依赖图(partial dependence plots),显示模型的预测结果随任何单个功能的更改而变化的情况。

探索数据点上的What-if情景

下面详细介绍What-If工具的两个功能。

只需一键,自动对比数据点与模型预测最相似点

用户只需单击一个按钮,就可以将数据点与模型预测不同结果的最相似点进行比较。我们称这些点为“Counterfactuals”,可以显示出预测模型的决策边界。用户也可以手动编辑数据点,并探索模型预测的变化。

在下面的截图中,该工具用于二进制分类模型,该模型根据美国人口普查数据集的公共人口普查数据,预测一个人的年收入是否超过5万美元。这是机器学习研究人员使用的基准预测任务,尤其是在分析算法的公平性时。

在这种情况下,对于选定的数据点,模型预测该人年收入超过5万美元的信度为73%。该工具自动定位数据集中最相似的人,模型预测其年收入低于5万美元,然后将选定数据点和与之最相似、但预测结果相反的数据点进行并排比较。如下图所示,二者只有在年龄和职业上存在微小的差异,但模型的预测结果已经完全相反了。

对Counterfactuals的比较。二人只有在年龄和职业上存在微小的差异,但模型的预测结果已经完全相反

模型性能和算法公平性分析

用户还可以探索不同分类阈值的影响,同时考虑不同数值公平性标准等约束条件。下图所示为微笑探测器模型的结果,该模型在开源CelebA数据集上训练,数据集是已标记的名人面部图像。

下图所示数据集中的面部图像按照头发是否为棕色分开,两个图像中的每一组都建立一条ROC曲线和一个预测结果的混淆矩阵,再设置一个置信度滑块,设定模型必须在超过某一置信度时才能判定目标的面部是微笑的。本例中,What-If工具自动设置两组的置信度阈值,以优化模型,实现机会均等。

使用What-if工具对微笑检测模型两部分数据的预测表现的比较,其中预测模型分类阈值设置满足“机会公平”

检测错误分类、评估模型公平性、调查模型不同数据集

为了说明What-if工具的功能,我们使用预先训练的模型发布了一组Demo:

检测错误分类:多类分类模型,模型根据对植物的花的四次观测来预测植物的种类。What-if工具有助于显示模型的决策边界,弄清导致错误分类的原因。

评估二元分类模型的公平性:上面提到的用于微笑表情检测的图像分类模型。What-if工具有助于评估不同子图像组的算法公平性。在该模型的训练中,有意没有提供来自特定人群的示例,目的是为了显现What-if工具如何能够揭示模型中的这种偏差。对模型预测公平性的评估需要仔细考虑整体背景,不过What-if工具是一个有用的量化起点。

调查模型在不同子群体中的表现:回归模型可以用于根据人口普查信息预测受试者的年龄。What-if工具能显示出模型在不同子群体中的相对表现,以及不同特征如何单独影响预测结果。该模型使用美国人口普查数据集进行训练。

What-If工具的实地应用

我们将What-If工具在Google内部团队中进行了测试,该工具在测试中显现出了直接价值。有团队很快发现他们的模型错误地忽略了数据集的整个特征,修复了以前未发现的代码错误。 还有团队使用该工具将模型示例按性能高到低排列出来,并发现表现不佳的模型示例的运行模式。

我们期待Google内外的人们都来使用What-If工具,以更好地理解机器学习模型,并开始评估预测模型的公平性。 我们的代码是开源的,欢迎对该工具继续添砖加瓦。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • Google
    +关注

    关注

    5

    文章

    1772

    浏览量

    57890
  • 代码
    +关注

    关注

    30

    文章

    4841

    浏览量

    69211
  • 机器学习
    +关注

    关注

    66

    文章

    8455

    浏览量

    133174

原文标题:测试机器学习模型不用写代码!谷歌“what-if”工具轻松搞定

文章出处:【微信号:AI_era,微信公众号:新智元】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    相关推荐

    AI学习AI概论:(Part-A)与AI智慧交流

    任务一:电脑+AI(让电脑拥有学习能力)目标:安装Python和TensorFlow。安装Keras、Numpy、OpenCV。安装ResNet50人工智慧模组(模型)。 运行测试程序
    发表于 10-30 14:04

    AI概论: <TensorFlow + Excel>可操作教案(Part-C:AI(机器)是如何学习呢?)

    任务十四:从您孰悉的出发任务十五:认识AI术语-- 权重(Weight)任务十六:简单的权重运算-- 两两相乘&求和任务十七:训练(机器学习)-- AI开始任务十八:创作您的
    发表于 12-02 14:12

    部署基于嵌入的机器学习模型

    1、如何在生产中部署基于嵌入的机器学习模型  由于最近大量的研究,机器学习模型的性能在过去几年里
    发表于 11-02 15:09

    如何通过cube-ai扩展将机器学习模型部署到STM32H743ZIT6?

    我正在尝试通过 cube-ai 扩展将机器学习模型部署到 STM32H743ZIT6。该模型采用 .tflite 格式。当我尝试分析
    发表于 12-30 08:57

    Google Kubernetes机器学习工具包Kubeflow发布0.1版

    Google自家推出的Kubernetes机器学习工具包Kubeflow终于发布了0.1版。 Googl
    发表于 05-17 08:17 1838次阅读

    谷歌开源了一款工具名为What-If,无需编写代码就能分析一款机器学习模型

    What-If工具有多种功能,包括用Facets自动对你的数据集进行可视化、从数据集中手动编辑样本的能力以及观察这些变化带来的影响、并且自动生成partial dependence plots,展示模型的预测是如何随着单一特征的
    的头像 发表于 09-24 08:57 3315次阅读

    谷歌新推无程式码机器学习模型分析工具

    机器学习模型训练完成后,需要经过反覆的探索调校,What-If Tool不需撰写任何程式码,就能探索机器
    的头像 发表于 09-14 14:47 2555次阅读

    探索“What-If”场景通常意味着编写一次性的自定义代码来分析特定模型

    What-If 工具拥有各种功能,包括使用 Facets 自动可视化数据集、手动编辑数据集示例并查看相关更改的影响,以及自动生成局部依赖图(显示模型的预测结果如何随任何单个功能的更改而变化)。下面详细探索其中两项功能。
    的头像 发表于 10-11 11:31 3973次阅读

    代码也能玩转人工智能 Uber宣布开源Ludwig

    Uber 宣布开源 Ludwig,一个基于 TensorFlow 的工具箱,该工具箱特点是不用代码就能够训练和
    的头像 发表于 02-26 08:47 3045次阅读

    谷歌AI服务阐明了机器学习模型如何做出决策

    Google LLC已在其云平台上推出了一项新的“可解释AI”服务,旨在使机器学习模型做出决策的
    发表于 11-30 11:06 1006次阅读

    Google重磅发布开源库TFQ,快速建立量子机器学习模型

    近日,Google 与滑铁卢大学、大众汽车等联合发布 TensorFlow Quantum(TFQ),一个可快速建立量子机器学习模型原型的开源库。
    的头像 发表于 03-12 16:31 2835次阅读
    <b class='flag-5'>Google</b>重磅发布开源库TFQ,快速建立量子<b class='flag-5'>机器</b><b class='flag-5'>学习</b><b class='flag-5'>模型</b>

    使用 NVIDIA TAO 工具套件和预训练模型加快 AI 开发

    可以访问预训练模型的完整源代码模型权重。 该工具套件能够高效训练视觉和对话式 AI 模型。由于
    的头像 发表于 12-15 19:40 1097次阅读

    如何评估机器学习模型的性能?机器学习的算法选择

    如何评估机器学习模型的性能?典型的回答可能是:首先,将训练数据馈送给学习算法以学习一个模型。第二
    发表于 04-04 14:15 1085次阅读

    AI模型与传统机器学习的区别

    AI模型与传统机器学习在多个方面存在显著的区别。以下是对这些区别的介绍: 一、模型规模与复杂度 AI
    的头像 发表于 10-23 15:01 1286次阅读

    AI模型与深度学习的关系

    AI模型与深度学习之间存在着密不可分的关系,它们互为促进,相辅相成。以下是对两者关系的介绍: 一、深度学习AI
    的头像 发表于 10-23 15:25 1508次阅读