让无人车发生故障的方法各种各样,有的靠人工攻击,有的靠算法攻击。
最近,Waymo的车祸层出不穷,总有一些司机故意撞Waymo测试车,在Waymo车前方突然减速,Waymo根本来不及刹车,导致车祸。
首先和大家澄清一下,恶意调戏无人车是要负法律责任的。在Waymo的多起车祸中,肇事者的意图十分明显,何况当时的Waymo还是在人工驾驶状态,肇事方毫无疑问需要负全责。而且别忘了,无人车都配有各种传感器,肇事车的信息会被记录下来。下图是一次车祸前Waymo记录下的肇事车辆。这辆车在空荡荡的路上突然刹车,导致车祸。
没有了人类司机,无人车将来会面临很多挑战,来自其他人类司机的刁难就是其中之一。这些车祸的刁难方式都比较简单粗暴,当然,也有一些比较“高级”的,比如利用深度学习的弊端,混淆无人车的识别系统。
友情提示:本文涉及内容纯属为了学术交流,请勿在实际场景中效仿,特别是在有无人车运营的路段 。
这种利用深度学习弊端破坏识别系统的方法可以统称为对抗攻击(adversarial attacks),即针对识别对象做出特殊改动,人的肉眼看不出来任何异样,但是会导致识别模型失灵。我们来看几个例子。
下图是两个stop sign,无人车看到stop sign就必须停下来。但是,下面两个stop sign经过特殊处理后,会被误识别为speed limit sign,即限速标志。
下图是行人识别,右边的行人穿上了混淆识别系统的T恤,完全没有被识别出来。不知你是否有兴趣买一件这样的T恤?
你可能会认为,这都没有关系,因为无人车有激光雷达,就算摄像头无法识别,也一样可以靠激光雷达探测障碍物。我们再来看一组针对激光雷达的对抗攻击。
我们把下面两个物体分别放在马路上,供无人车的激光雷达识别。左侧白色障碍物的表面经过特殊处理。
结果显示,左侧白色的障碍物根本无法被识别。激光雷达明明可以看到障碍物,却无法被识别。由于障碍物表面凹凸不平的形状,该物体成功在点云中“隐身”了。
普通的箱子可以被轻松识别。
对抗攻击不只可以用于扰乱视觉识别系统,也可以用于扰乱语音识别系统。我们来听下面两条语音。
两条语音听上去说的都是“without the dataset the article is useless”,没有任何差别,而第一条语音的识别结果其实是“okay google browse to evil dot com”,意思完全不同了。
对抗攻击的方式多种多样,我们必须尽快找到相应的防御措施(defense),才能保护无人驾驶系统安全。
-
识别系统
+关注
关注
1文章
138浏览量
18810 -
无人车
+关注
关注
1文章
302浏览量
36470 -
waymo
+关注
关注
2文章
312浏览量
24670
原文标题:对抗攻击[Adversarial Attacks]的N种应用
文章出处:【微信号:zidongjiashishuo,微信公众号:自动驾驶说】欢迎添加关注!文章转载请注明出处。
发布评论请先 登录
相关推荐
评论