0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

阿里安全提出的自动化对抗攻击平台CAA,给AI系统做“安全体检”

工程师邓生 来源:鞭牛士 作者:鞭牛士 2020-12-11 16:35 次阅读

鞭牛士BiaNews消息:安全人员曾为某著名车企自动驾驶系统做过一次安全测试,用物理对抗攻击欺骗Autopilot车道检测系统,导致汽车在Autopilot不发出警告的情况下驶入错误车道。假如这是一场真实的攻击,后果不堪设想。事实上,AI系统如果没有足够的“免疫力”,甚至会被一张图片欺骗,如将停车标志识别为通行,在医疗应用中将有问题的医疗影像识别为正常图像等。

为帮助AI应用从源头构建安全性,阿里安全图灵实验室整理归纳了学界针对AI模型提出的32种攻击方法,以此为基础搭建了一个自动化AI对抗攻击平台CAA,帮助检测AI系统存在的安全漏洞。

经CAA“体检”后,AI安全专家可针对被检测AI的薄弱地带提出安全建议,助力AI鲁棒性(稳定性)检测,以此增强AI系统的安全性,近日,该研究成果被人工智能顶会AAAI2021接收。

相比业界此前提出的其他攻击工具箱,阿里图灵实验室研发的自动化对抗攻击平台CAA首度实现了对抗攻击的“工具化”。它让AI应用的使用者即使不具备任何专业领域知识的情况下,也可以进行AI模型的对抗攻击和鲁棒性测试。

此外,CAA还可预先评估待检测AI的特性,通过自动化搜索技术来合成多个攻击算法的组合,提升了现有模型攻击方法的性能和效率。阿里安全专家通过实验表明,CAA超越了最新提出的攻击方法,是可有效评估当前AI系统安全性的最强“攻击”。

图示:阿里安全提出的自动化对抗攻击平台CAA运行示意图

以事前“攻击演练”检测AI系统的安全性,是当前提升安全AI的有效方法,也是阿里提出新一代安全架构,从源头构建安全的核心理念。但如果不知道目标模型的防御细节,研究者通常很难根据经验选择到对当前模型最优的攻击算法,从而难以验证“体检”的真实效果。

阿里安全图灵实验室算法专家箫疯表示,阿里安全首次提出将智能技术引入到对抗攻击中,使得所有攻击细节和参数作为一个黑箱,而攻击者只需要提供目标模型和数据,算法就会自动选择最优的攻击组合和参数。

以AI体检AI,以AI训练AI。萧疯认为,对识别黄、赌、毒等不良内容的安全检测AI而言,模型可靠性和鲁棒性显得尤为重要。目前,在鉴黄算法上,图灵实验室正在借此技术方法提升曝光、模糊、低画质等极端分类场景下的模型识别能力,并且逐渐提升模型在极端场景下的鲁棒性,为业界提供更安全可靠的AI算法能力。

责任编辑:PSY

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    87

    文章

    30734

    浏览量

    268893
  • 自动化
    +关注

    关注

    29

    文章

    5563

    浏览量

    79240
  • 抗攻击
    +关注

    关注

    0

    文章

    3

    浏览量

    6368
  • 阿里
    +关注

    关注

    6

    文章

    438

    浏览量

    32828
收藏 人收藏

    评论

    相关推荐

    自动化水厂监控系统

    随着科技的发展,自动化技术在各行各业中的应用日益广泛,而自动化水厂监控系统作为智慧水务的重要组成部分,具备多种功能,以满足水厂安全、高效、稳定运行的需求,正逐步改变着传统水厂的运营模式
    的头像 发表于 12-16 16:17 80次阅读

    罗克韦尔自动化推出Logix SIS,开拓安全新格局

    作为工业自动化、信息和数字转型领域的全球领先企业之一, 罗克韦尔自动化近日推出了 Logix SIS,进一步丰富了其行业领先的安全技术产
    的头像 发表于 11-25 09:38 300次阅读

    自动化AI开发平台功能介绍

    自动化AI开发平台集成了多种算法、工具和框架,旨在帮助开发者更快速、高效地设计、训练、部署和管理AI模型。以下,AI部落小编将详细介绍
    的头像 发表于 11-14 09:29 207次阅读

    AI即服务平台安全性分析

    AIaaS平台降低AI应用门槛,但面临数据泄露、恶意攻击安全威胁。需加强数据加密、访问控制、模型加固、供应链安全等措施,确保合法合规,提供
    的头像 发表于 11-07 09:32 136次阅读

    移动电源18650电芯全自动点焊机:高效、精准、安全|比斯特自动化

    移动电源18650电芯全自动点焊机:高效、精准、安全|比斯特自动化
    的头像 发表于 10-10 11:30 305次阅读

    基于CSS融合存储系统自动化制造服务平台存储解决方案

    基于CSS融合存储系统自动化制造服务平台存储解决方案
    的头像 发表于 09-10 10:15 339次阅读
    基于CSS融合存储<b class='flag-5'>系统</b>的<b class='flag-5'>自动化</b>制造服务<b class='flag-5'>平台</b>存储解决方案

    隧道安全监测自动化系统解决方案

    一、背景在现代交通网络中,隧道作为连接不同区域的重要通道,其安全性与运营效率直接关系到整个交通系统的稳定与顺畅。随着科技的飞速发展,隧道安全监测自动化
    的头像 发表于 09-09 14:46 337次阅读
    隧道<b class='flag-5'>安全</b>监测<b class='flag-5'>自动化</b><b class='flag-5'>系统</b>解决方案

    案例分享:某钢铁智慧电力综合自动化系统改造

    、智能管理。系统能够实时监测电力设备的运行状态,及时发现潜在的安全隐患,并通过自动化控制手段实现故障的快速隔离和恢复,确保电力供应的稳定性和安全
    的头像 发表于 08-23 15:01 389次阅读
    案例分享:某钢铁智慧电力综合<b class='flag-5'>自动化</b><b class='flag-5'>系统</b>改造

    高速公路自动化安全监测预警系统解决方案

    一、背景在当今快速发展的交通网络中,高速公路作为连接城市与区域的重要纽带,其安全与畅通直接关系到国家经济的发展与民众生活的便捷。随着科技的不断进步,高速公路自动化安全监测预警系统应运而
    的头像 发表于 08-12 14:58 753次阅读
    高速公路<b class='flag-5'>自动化</b><b class='flag-5'>安全</b>监测预警<b class='flag-5'>系统</b>解决方案

    机械自动化自动化的一种吗

    引言 自动化技术是指利用控制装置对生产过程进行控制,以实现生产过程的自动化。机械自动化自动化技术的一种,它主要涉及到使用机械设备和控制系统
    的头像 发表于 07-01 09:32 1645次阅读

    工业自动化和控制系统网络安全的关系

    一、工业自动化和控制系统概述 1.1 工业自动化的概念 工业自动化是指利用计算机、通信和控制技术,实现工业生产过程中的自动化控制和管理。它主
    的头像 发表于 06-16 14:25 677次阅读

    英国AI安全研究所推出AI模型安全评估平台

    据报道,英国人工智能安全研究院近日发布了名为“Inspect”的AI模型安全评估平台,此平台采用开源技术且对全球
    的头像 发表于 05-13 15:20 408次阅读

    变电所自动化控制系统应用与分析

    摘要:变电所自动化控制系统是对变电所执行自动监视、测量、控制和协调的综合性系统。本文对变电所自动化控制中的计算机监控
    的头像 发表于 03-28 10:39 419次阅读
    变电所<b class='flag-5'>自动化</b>控制<b class='flag-5'>系统</b>应用与分析

    四信大坝安全监测自动化系统提升方案,筑牢安全大坝

    四信大坝安全监测自动化系统,是守护水库大坝安全的智能卫士。通过全面部署水位、雨量、位移等传感终端,结合视频监控,实现对大坝安全的全方位监控。
    的头像 发表于 03-27 14:17 656次阅读
    四信大坝<b class='flag-5'>安全</b>监测<b class='flag-5'>自动化</b><b class='flag-5'>系统</b>提升方案,筑牢<b class='flag-5'>安全</b>大坝

    水利闸门自动化控制系统简介及构成

    成都国科自动化ZK4000系列闸门自动化控制系统,采用了计算机、光纤网络通讯和现场总线、现地控制单元、传感器、测控软件等多种现代技术,可实现对闸门开度、水位等参数的实时监测和控制。通
    的头像 发表于 02-27 14:24 1287次阅读
    水利闸门<b class='flag-5'>自动化</b>控制<b class='flag-5'>系统</b>简介及构成