特斯拉大半夜「见鬼」！空无一人的路上，它却看见「幽灵」秒刹车

DDOS

金磊 贾浩楠 发自 凹非寺

量子位 报道 | 公众号 QbitAI

讲个「鬼故事」：

夜深人静，一辆特斯拉Model X在空无一人的公路上行驶着。 瞬间！它看到了「人类看不见的东西」，于是便刹车在路上停了下来……

来感受一下这种feel。

而这辆特斯拉停车的原因，竟然是因为它看到了「幽灵」 。

坐在自动驾驶车上，大半夜的又遇上这种事情，可以想象驾驶员的心理阴影了。

……

但实际上，其实特斯拉看到的并非是「不干净的东西」，而是被称作「幽灵」（Phantom）的一种攻击自动驾驶辅助系统（ADAS）的图像——掺杂在路边广告牌视频中。

这种图像出现的时长极短，可以用一瞬间来形容。

人类驾驶员往往不会注意到，但对于自动驾驶系统，却成为「强有力的停车信号」。

也千万不要小瞧这种攻击，它给自动驾驶车辆和人类带来的后果，或许要比这个「鬼故事」还要恐怖。
隐藏在广告牌中的「幽灵攻击」

在这个案例中，「幽灵攻击」是隐藏在路边广告牌的视频中。

当时，视频中的内容是这样的。

看似是美味的汉堡包广告，但播放期间掺杂了一张「幽灵攻击」图像，这就是「鬼故事」的罪魁祸首——0.42秒的停车路标。

人类驾驶员大概率在行驶过程中，不会过分关注路边广告牌的视频内容；即使看到了这一闪而过的图像，也基本会认为是个bug。

但自动驾驶系统就不同了，顶着那么多雷达和摄像头，时时刻刻「眼观六路」。

于是，搭载特斯拉HW3的Model X，便采纳了这一瞬间停车路标的「建议」。

可能你会说，特斯拉Model X或许是个例。

别急，「幽灵攻击」还在Mobileye 630 Pro系统做了实验。

这次隐藏在视频中的内容是这样的。

此次的「幽灵攻击」是一张仅闪现0.125秒的「90英里/小时」路标。

于是，搭载Mobileye 630 Pro的车辆，在「看到」这个视频后，速度就真的控制在了90……

「幽灵攻击」都是这种一闪而过的图像吗？

不不不。

在路上投影个图像，也是可以的。

这一次，「幽灵攻击」不再是转瞬即逝，而是一直好好的「躺」在那里。

然后搭载HW2.5的特斯拉，就把图像检测成了「人」，车速从18英里/小时，降到了14英里/小时。

来看下AI眼中的世界：

安全，一直是自动驾驶领域十分关注的问题，也是必须要保障的一个点。

但为什么如此简单的图像攻击，就能把这些可以说最先进的自动驾驶系统，秒秒钟给忽悠「瘸」了呢？
「幽灵攻击」背后原理

其实，攻击自动驾驶辅助系统的手段再简单不过了，根本不涉及黑进特斯拉或Mobileye的系统。

算法的错误操作，也绝不是代码执行效果不佳的结果。

它们不是典型的功能性缺陷（如缓冲区溢出、SQL注入），可以通过添加 “if “语句轻松修补。

这种现象反映了模型对于目标检测的基本缺陷，即它们没法分辨目标的真假。

简单的办法攻击是直接使用投影仪，在车辆行进线的道路上投射出一个物体，可影像以是行人、汽车、交通标致等等。

第二种方法，是在路边的广告牌上显示出某些干扰信息，比如限速、转弯等。

这些干扰信息的持续时间不用很长，只需要几百毫秒的时间，就足以让号称最先进的特斯拉Autopilot作出错误反应。

研究人员分别测试了Autopilot系统和Mobileye面对干扰持续时间出错的概率：

可以看出来，干扰持续时间超过0.4秒，两个系统100%会出现问题。

Moblieye的反应更是比特斯拉自动驾驶灵敏的多，几乎对任何细微的干扰都会有反应。

特斯拉反应慢半拍，在这种攻击下却意外起到了「正面作用」。

如何解决这个问题？

研究人员提出了GhostBuster，意思是「捉鬼小分队」。

「分队」表示这套系统不止一个神经网络，团队在整个「捉鬼」行动中设置了5层不同的深度神经网络。

其中，核心的四个轻量级深度CNN，通过检查物体的反射光、上下文、物体的表面和形状深度来评估物体的真实性和可靠性。

第五个模型使用前四个模型的结果给出最终判断。

这套5个不同神经网络构成的系统在测试中取得了不错的成绩，在阈值设置为零的情况下，AUC超过0.99（ROC曲线下面积），TPR为0.994（真阳性比率）。

使用了GhostBuster的带有七个传感器的自动驾驶系统，攻击成功率从之前的99.7-81.2%降低到0.01%。

单看实验结果，这套系统效果十分好，但是研究人员也指出了它的不足，因为这套系统只针对纯视觉的自动驾驶方案，而激光雷达的案例未考虑在内。

而对于特斯拉这种纯视觉方案来说，一旦系统认定“非障碍”，其他摄像头探测结果都会被忽略，形成严重安全隐患。
特斯拉自动驾驶方案的局限

其实，对激光雷达有所了解的读者，应该会质疑这项研究的有效性。

因为，激光雷达是不受视觉图像干扰的。

团队也承认一般采用混合方案的自动驾驶系统基本能解决这个问题。

但，路上确实也存在想像特斯拉这样纯视觉方案的车不是？

这项研究揭示的自动驾驶模型本身的缺陷，大大降低了不法之徒攻击的难度和成本。

由于不涉及算法底层代码，幽灵攻击甚至不要求任何专业知识，也不要复杂的前期调查准备，花几百美元买个投影仪或者无人机就能实现。

而且在攻击时，不需要人员靠近现场，完成后也能迅速撤离，难以留下证据。

低成本的犯罪手段，造成的后果轻则交通拥堵，重则车毁人亡。

科技媒体Wired已经就这个问题联系了特斯拉和Mobileye，但是双方均未回应。
研究团队

这次「幽灵攻击」的实施者，是来自以色列本·古里安大学和美国佐治亚理工学院的研究人员。

△Ben Nassi

Ben Nassi是本·古里安大学的一名博士生，之前也曾在谷歌工作过一段时间。感兴趣的研究领域包括网络安全和物联网设备。

目前他在Cyber@BGU实验室工作，从事无人机、智能灌溉系统和可穿戴技术等课题的研究。

△Yisroel Mirsky

Yisroel Mirsky是佐治亚理工学院博士后研究员，同时也是以色列BGU网络安全研究中心的高级网络安全研究员。

他的主要研究方向包括在线异常检测、对抗性机器学习、区块链等。

而这并不是他们第一次攻击自动驾驶辅助系统。

今年早些时候，他们便用投影技术，在夜间的道路和路边的树上，投影出人和路标等图像，成功「忽悠」了搭载HW2.5的特斯拉Model X和搭载Mobileye 630设备的车辆。

而这一次的实验，是「幽灵攻击」的升级版，不再是长时间的将攻击图案放在可监测的位置，而是只让它们出现一瞬间，也同样达到了攻击的目的。

当然，他们也不是第一个做类似「幽灵攻击」的实验人员。

早在2016年，来自浙江大学、南卡罗来纳大学的研究人员，便利用无线电、声波和发光设备来欺骗甚至隐藏物体，让特斯拉的传感器无法发现它们。

当然，在真实生活中，类似是攻击、欺骗事件也是时有发生。

例如国外网友在驾驶特斯拉过程中，发现自动驾驶系统，竟然把雨天车辆尾灯在路上的反射光，识别成了路障。

还有今年6月，特斯拉Model 3在高速公路上，直接撞上了横躺的大货车……

那么，如果你是智能车的车主，是否遇到过诸如此类的「恐怖事件」？

欢迎在评论区分享你的故事。

参考链接：

论文地址：https://ad447342-c927-414a-bbae-d287bde39ced.filesusr.com/ugd/a53494_04b5dd9e38d540bc863cc8fde2ebf916.pdf

相关报道：

https://www.wired.com/story/tesla-model-x-autopilot-phantom-images/
— 完 —

量子位 QbitAI · 头条号签约

关注我们，第一时间获知前沿科技动态

本文版权归原作者量子位所有，如有侵权请联系管理员删除，原文地址：https://m.toutiao.com/i6882595481516507662/

LEMONKEITH

我明白了，只要我在我的车后面用一个投影仪在地面投影一个数字，就能控制后面特斯拉的速度了！在地上投影一个人，就能让他停下[呲牙]

cddgcwqfxp

车载电脑一死机，秒秒钟上天堂！[发怒]

wwwjzdowncn

tsl已经在研究自动驾驶的技术上遥遥领先了，本文的目的不知道是传达什么概念，如果简单的鞭策无人驾驶技术的缺陷无可厚非，但必须承认tsl已经在探索、发现、在完善无人驾驶技术了。如果是嘲笑，那本文完全无意义，嗯，是的。类似于有线电话时代嘲笑大哥大笨重一个意思。你觉得呢？

laigangpei

明白了，以后跟特斯拉飙车，就车身贴满STOP[大笑]

sldxlx

这个实验恰恰证明特斯拉为了节约成本采用视频识别来实现自动驾驶的局限性，可是追捧者们根本不在乎。

520xlh

如果在特斯拉自动驾驶的时候我们给他一个持续的错误的引导，那岂不是想带那里就带那里去？甚至可以引导特斯拉开出道路引发车祸？如果遇上高级黑客，甚至可以替换特斯拉的图像处理系统，就相当于给特斯拉带一个vr眼镜，造成一个高速路段前方无车的假象，从而引发车祸？

aa0703

所以其它公司一直不认同只通过摄像头来解决自动驾驶问题，必须配备雷达和激光。而特斯拉认为摄像头就足够了……原因很简单，激光摄像头和雷达等方案涉及专利费及更多的成本…单纯的摄像头捕捉和算法成本低很多（类似于手机里同样的人脸识别，为什么大部分厂只用摄像头，只有个别厂使用激光点阵的结构光一样）。唯一不同的是特斯拉喜欢不断洗脑，强调自己只通过摄像头就解决了其他厂商需要多设备解决的问题来表明自己更先进。其实是个偷换概念。用这个逻辑，传统的麦弗逊悬架只用最简单的方法就解决了多连杆成本高，体积大的缺点，所以更先进。什么碳纤维材料，铝合金材料都是垃圾，又贵又脆，铁皮和塑料件多好，经久耐用又，维修成本又低…至于特斯拉本质确实不差（不管是装配工艺还是汽车本身的性能及理念），但是却远没有营销吹的那么高级而已……

ffteom

世界上不存在完美的系统，自动驾驶不够完美，人也不够完美，人们就是在一次次实践中进步的，这也提醒了大家，不要过分依赖自动技术

cheneyceo

12年的时候，杭州有个厂家做了套系统，红外识别摄像头上车，主要是分辨大雾和远光中的人和物，有个老哥装了一套，在一天夜里开夜车的时候，看到路上有个人，但红外系统里没有，地面上其他物件都是正常的，包括路边涵洞里的老鼠在红外里都能看见，就是看不到那个人[捂脸]