0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

如何保证人工智能应用系统安全可靠性?

mK5P_AItists 来源:未知 作者:胡薇 2018-08-08 15:29 次阅读

小编搞了大半辈子测试和容错,对这方面消息比较敏感。最近看到新闻,商业巨头亚马逊2016年推出图像识别AI系统“Rekognition”,还积极向美国警方推销以帮助其办案。不过近日,“Rekognition”却闹了一个大乌龙:28名美国国会议员被它识别成了罪犯。

这一错误也让发起这项测试、反对警方使用“Rekognition”的美国公民自由联盟(ACLU)抓到把柄,他们表示,测试结果引起了民众对警方使用该系统的严重担忧。7月26日,ACLU在其网站披露:该组织对“Rekognition”进行了测试,结果系统错误地将28名国会议员识别为曾因犯罪而被捕的人员。

所以,人工智能应用被吹得热热闹闹,场景令人振奋,但是,真要付诸应用,人们对这些系统信任度存在疑问,可能产生严重后果。怎么能提供这些系统的高可信性呢?这就要深入到每一个具体系统,进行科学分析。本月IEEE Spectrum 2018/8发表一篇文章,“MAKING MEDICAL AI TRUSTWORTHY”,很有参考价值。

医药工业领域是人工智能系统应用的理想之地。医学检验、医生的面谈和过程被成文为患者病历,存为电子格式。AI系统可以摘要这些数据,从而决定较好和性价比较高的治疗方案。现在许多研究都在建造这种系统,许多文章描述关于分析纪录、扫描图像、产生患者健康的诊断和预言。譬如下图所示一个低分辨率的反映心脏跳动的心动图,用AI程序分离,取出最相关的部分,然后用解剖学的理解去进行诊断。

这类文章很多,但是,这些系统很少能进入医院里实际应用。

为什么会这样?匹兹堡大学的医学研究专家和物理学家Shinjini Kundu说:问题在于信任方面,你有可行的技术,但你怎么能得到人们的信任而使用之?

许多医用AI系统是个黑盒子,输入数据,得出答案。医生们搞不懂它为什么要这么处理。所以,Kunda研究AI对医学图像的分析与解释。她从对医学图像,譬如核磁共振图像,机器学习开始,从而发现医生感兴趣的模式。

Kunda最近用AI分析膝盖核磁共振图像(MRI),分析三年内会发展为骨关节炎的可能性。她用“生长模型化”技术,用AI产生一个新图像,一个保证会发病的图像。Kunda解释说,他们开发了一个黑盒子分类器,去产生一个图像,显示支持其诊断的模式。

人眼无法根据下图的MRI图像判断患者三年内是否会得关节炎,譬如上左图不会,但上右图就会得关节炎。而AI程序进行统计分析可以得出几倍方差范围内得这种病的概率。

AI产生的图像基于MRI扫描软骨的微妙变化,这些变化可能是医生们没有注意到的。这帮助人们去理解过去治关节炎的过程为什么没注意到。

旧金山加州大学助理教授、心脏病专家Rima Arnaout训练一个神经网络去分类超声波心电图,在分辨微小而低分辨率图像方面比心脏病专家精确多了。下一步将用该图像信息去识别解剖结构和诊断心脏疾病和缺陷。

但是,Arnaout说:“我不会去做自己无法信服的诊断。”她用两个技术去搞懂她的分类器是怎么做出决定的。在封闭试验中,他考察测试图像的部分变化如何改变AI的回答;用显著图,她跟踪神经网络的最后回答返回到原图,去发现什么像素权重最高。这两技术说明图像的那些部分对AI做出结论最重要,正和专家看重的结构相重合。

微软一位骨干研究人员Rich Caruana十年来一直致力于一项研究,就是让机器学习模型不但是智能的,而且是可以理解的。他用AI拿医院的电子病历去预计患者的结果。他发现即使是高度精确的模型也隐藏着严重的缺陷。他引用他对肺癌患者的数据集,训练机器学习模型去区分该入院的高危患者和可在家恢复的低危患者。该模型发现有心脏病的人较少死于肺炎,可以安心地算作低危人群。他解释说,诊断有肺炎的心脏病患者其所以结局较好,不是因为他们低危险,而是如果他们的呼吸困难早就进了急诊,从而得到治疗。模型发现的这种关联性是正确的。但是,假如我们用这种关联性去干预卫生保健,我们可能伤害甚至杀死某些患者。由于这些麻烦的发现,他正在研究清楚显示变量相关的机器学习模型,让它判断模型不但统计意义上精确,而且医学上可用。

所以,人工智能应用需要应用领域专家的深入分析、严格的测试过程、有效的容错技术,才能保证人工智能应用系统的安全可靠,人们才能放心使用。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 图像识别
    +关注

    关注

    9

    文章

    517

    浏览量

    38208
  • 人工智能
    +关注

    关注

    1789

    文章

    46630

    浏览量

    236972

原文标题:人工智能应用需要高可信性(180806)

文章出处:【微信号:AItists,微信公众号:人工智能学家】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    智能系统安全性分析

    智能系统安全性分析是一个至关重要的过程,它涉及多个层面和维度,以确保系统在各种情况下都能保持安全、稳定和
    的头像 发表于 10-29 09:56 158次阅读

    如何保证备自投装置可靠性和稳定性

    备用电源自动投入装置(简称备自投)是一种保证配电系统可靠、连续供电的安全设备,因此它的可靠性和稳定性直接决定了
    的头像 发表于 10-17 17:44 143次阅读
    如何<b class='flag-5'>保证</b>备自投装置<b class='flag-5'>可靠性</b>和稳定性

    《AI for Science:人工智能驱动科学创新》第6章人AI与能源科学读后感

    、优化等方面的应用有了更清晰的认识。特别是书中提到的基于大数据和机器学习的能源管理系统,通过实时监测和分析能源数据,实现了能源的高效利用和智能化管理。 其次,第6章通过多个案例展示了人工智能在能源科学中
    发表于 10-14 09:27

    《AI for Science:人工智能驱动科学创新》第一章人工智能驱动的科学创新学习心得

    ,无疑为读者铺设了一条探索人工智能(AI)如何深刻影响并推动科学创新的道路。在阅读这一章后,我深刻感受到了人工智能技术在科学领域的广泛应用潜力以及其带来的革命变化,以下是我个人的学习心得: 1.
    发表于 10-14 09:12

    risc-v在人工智能图像处理应用前景分析

    的兼容可靠性,并为其在人工智能图像处理领域的应用提供更有力的保障。 综上所述,RISC-V在人工智能图像处理领域具有广阔的应用前景。其开源
    发表于 09-28 11:00

    如何确保PLC系统安全可靠性,这几个注意事项你需要牢记

    量输入输出设计和报警设计。 一.电源设计部分: 在 PLC 系统设计中,电源设计是首要参数。面板中有两种类型的电源——直流和交流,直流通常为 24V DC,交流通常为 220V AC。电源的可靠性和稳定性是至关重要的。以下是一些电源设计的
    的头像 发表于 07-30 15:08 299次阅读
    如何确保PLC<b class='flag-5'>系统安全</b>的<b class='flag-5'>可靠性</b>,这几个注意事项你需要牢记

    FPGA在人工智能中的应用有哪些?

    FPGA(现场可编程门阵列)在人工智能领域的应用非常广泛,主要体现在以下几个方面: 一、深度学习加速 训练和推理过程加速:FPGA可以用来加速深度学习的训练和推理过程。由于其高并行和低延迟特性
    发表于 07-29 17:05

    基于可靠性设计感知的EDA解决方案

    人工智能应用。这些系统的特点是更高的功率密度、2.5D 和 3D 异构集成,需要仔细考虑基于多物理场的可靠性增强,同时解决不同可靠性要求之间的相互依赖
    的头像 发表于 07-15 09:56 326次阅读
    基于<b class='flag-5'>可靠性</b>设计感知的EDA解决方案

    汽车功能安全可靠性的关系

    当前,随着汽车领域的飞速发展,汽车也被重新定义。在汽车电子电气系统设计时,离不开对功能安全可靠性设计的考虑。正确理解两者之间的关系,有助于更好地分析问题和解决问题。什么是汽车可靠性
    的头像 发表于 07-13 08:28 3149次阅读
    汽车功能<b class='flag-5'>安全</b>与<b class='flag-5'>可靠性</b>的关系

    请问FATFS文件系统可靠性如何?

    ST官方固件库中使用了FATFS文件系统,想问下,这个文件系统可靠么? 我想了解一下,有哪位朋友真正产品上使用FATFS文件系统可靠性有什
    发表于 05-16 06:35

    嵌入式人工智能的就业方向有哪些?

    嵌入式人工智能的就业方向有哪些? 在新一轮科技革命与产业变革的时代背景下,嵌入式人工智能成为国家新型基础建设与传统产业升级的核心驱动力。同时在此背景驱动下,众多名企也纷纷在嵌入式人工智能领域布局
    发表于 02-26 10:17

    中国发布多款国产CPU及操作系统安全可靠测评结果

    依据《安全可靠测评工作指南(试行)》,测评主要针对计算机终端和服务器搭载的中央处理器(CPU)、操作系统及数据库等基础软件硬件进行。经过对核心技术、安全保障、持续发展等多个方面的全面评估,从而评定产品的
    的头像 发表于 12-27 14:36 2069次阅读

    天然气站安全无忧,人工智能AI助力排除隐患, 人工智能, 安全评估, 智能管理, 高效稳定

    天然气站利用人工智能AI算法排除安全隐患成为新趋势。通过图像识别、预测维护、安全风险评估和智能化管理,天然气站可以提高
    的头像 发表于 12-20 09:12 657次阅读

    如何提升基于DC-DC模块的电源系统可靠性

    如何提升基于DC-DC模块的电源系统可靠性? 基于DC-DC模块的电源系统可靠性是关乎设备稳定运行的重要因素。为了提高可靠性,我们可以从设
    的头像 发表于 11-17 14:35 583次阅读

    可靠性试验(HALT)及可靠性评估技术

    国家电网:在就地化保护入网检测中,首次引入可靠性试验,验证产品可靠性设计水平和寿命指标。在关于新型一、二次设备(例如:电子式互感器)的科研项目中,增加了可靠性验证和寿命评估等相关研究课题。
    的头像 发表于 11-13 16:32 1326次阅读
    <b class='flag-5'>可靠性</b>试验(HALT)及<b class='flag-5'>可靠性</b>评估技术