作者| 宇多田
出品| 虎嗅科技组
封面来自网络
题目这句话，是美国汽车AAA协会的技术大佬们在一次测试后，发出的牢骚。
这些年，自动驾驶产业无人不晓的《加州自动驾驶脱离报告》已经火出圈。然而，美国汽车协会（AAA）每年最具现实意义的汽车系统横评报告，却鲜少有人关注。
自2015年底，美国加州机动车管理局（DMV）要求州内所有中外测试企业提交一份“脱离”报告以来，这份年度报告便一直被当做各家技术能力的权威评价参考。
然而，我曾经在2019年的分析中详细解释过，尽管《加州脱离报告》涵盖数据指标非常丰富，特别是MPI/MPD（指代“无人车每行驶多少里程需要人工干预一次”）这项指标，对衡量技术水平颇为重要。
但这些数据并非强制，都由企业自发上报，这无形给予了可操作空间。当初国内部分无人驾驶企业为了提高排名的造假门事件，曾引起圈内私下里的哄笑——“想必L4到底什么水平，只有工程师们心里清楚”。
另外，从具体指标来看，仅时间跨度与路测环境，彼此叙述词差别巨大（反正你也猜不出谁撒了谎），更不用说车队规模、车型、系统迭代以及调试情况都不尽不同。
因此，它在公信力方面存在很多问题，更不能证明自动驾驶整体技术到底达到了什么水平。
另一边，随着自动驾驶辅助系统（L2级自动驾驶）逐渐成为各大品牌中高端车型的标配。2017年以来，从消费者端发起的测试与评价层出不穷。
其中，在美国车主群里威震八方的美国汽车协会（AAA）从2018年开始，便一直在各种封闭与开放场景中，利用专业检测设备，对消费级汽车品牌的自动驾驶辅助系统（约L2水平）的各项组件做横向评估。
2022年5月，他们发布的一份小规模L2系统横向试验，虽没有引起格外的关注，但却将3家车厂的L2技术水平，置于统一且严谨的环境与配置条件下。
当然，一些结果也许在很多人意料之中，横评的车厂品牌也只有3个，但实操细节和很多数据却更具备现实上路的参考性。这次，我们就是要来说一下这份并不出名的报告——《主动驾驶辅助系统（L2）评估报告》。
当然，AAA发布这一报告的目的，主要是想帮协会的车主们更清醒地认识目前汽车ADAS配置的安全水平。但另一方面，报告其实也反应了当下汽车消费者的态度：“狼来了”的故事，第三次听时就会不再有吸引力。
很明显，你可能已经猜出了这份报告的大致测试结果：L2自动驾驶系统，对，就是你车上那个，仍然相当糟糕。
这是一项针对不同汽车品牌L2系统的横评测试，意味着做一个相对公正客观的“对照组试验”，要保持测试条件的一致性，并使外界变量尽可能控制在最小范围。
因此，AAA从测试车型、测试器材（采用了英国老牌OxTS公司的RT3000设备，这家是自动驾驶测试Top企业）、数据采集维度，再到开放道路测试条件的选择，都执行了严格的标准。
举个例子，他们在选择装有ADAS系统的车型方面，采用了4个标准。并在测试前，为每辆车做了严格的第三方检查测试，证明 ADAS 系统符合SAE（美国汽车工程协会）的L2系统定义，可以正常运行。
每辆车的L2系统必须能够以每小时70英里的速度运行
品牌必须包括国内和进口的原始设备制造商（不能是改装车），甚至考虑到定价，确保测试车辆在价格区间内是代表车型
每个制造商只能有一辆车进行测试
该车型在2020年之前没有进行过评估
值得注意的是，之所以选择2020年这个时间节点，是因为这一年是ADAS系统市场渗透率取得突破且技术应用已经成熟的一年。根据统计，2020年34%的车型中，ADAS系统成为标配或可选。
最终，基于以上要求，AAA选择了2021版现代圣达菲（高速公路辅助系统HDA）、2021版斯巴鲁森林人（辅助驾驶系统EyeSight）以及特斯拉Model3（自动驾驶辅助系统Autopilot 10.2）。
从上到下分别是现代圣达菲、斯巴鲁森林人、特斯拉Model3。这些并非真实测试车，仅供车型参考
三辆车虽然总共经历了60多场测试，但其实只是回答了两个设定的命题：
A、当配置有L2系统的轿车与另一辆载人轿车发生碰撞时，其表现如何？
B、当与骑自行车的人发生碰撞时，配置有L2系统的车辆表现如何？
很明显，A在高速公路上最为常见。
在高速公路环境中，我们经常会遇到缓慢或停滞的交通。有时候，前面的车辆会突然无预兆的减速或停止，而L2系统中的ACC（自适应巡航）等组件便为此而生，通常应对良好。
与三辆测试车演“对手戏”的是扮演小型乘用车的全自动机器人Soft Car 360，由自动化测试系统小巨头AB Dynamics提供，是欧盟新车安全评鉴协会认证的“汽车安全检测目标物”。
而B，可能会唤起不少自动驾驶技术爱好者的些许记忆。
没错，2018年让Uber自动驾驶自此身败名裂、无疾而终的车祸致死事件，便是一个极为类似的场景。
值得注意，AAA把这类自行车、摩托车以及行人称为“弱势者道路用户”，这一类涉及的事故大多被产业内归为边缘案例。但他们对于提升自动驾驶系统在城市环境中的应对能力十分关键。
主动车辆安全平台4activeSystems提供的自行车机器人，集成了摄像头、雷达等传感器，可以采集测试要求的各项数据，常用于自动驾驶专业测试
迎面飞车，束手无策
我们首先来看研究员专门为 A 场景设置的两组测试：
A1、面对同一车道前方的慢行车（跟车），系统会有什么表现？
在测试车前方，“对手车”处于同一车道，以同方向加速到20英里/小时向前行驶。同时，它需要在距离测试车1700英尺的地方保持至少10秒行驶时间；
而后方，测试车辆将在车道内加速到55英里/小时，L2系统必须在这个速度下启动。
跟车测试
A2、面对迎面而来，突然冲进同一车道的车辆，系统会怎么做？
美国的高速公路通常由两车道公路组成，相邻车道上迎面而来的车辆没有分隔障碍物。在这种环境下，迎面车辆可能会因超车或驾驶员失误等原因进入对面车道。
从历史数据来看，这种类型的碰撞往往是最严重的。譬如，2021年11月发生在加州布雷市的一起Model Y车祸，便是车主因误入车道导致迎面相撞，虽无伤亡，但车辆严重损毁。
测试车与机器人的车速分别设置为25英里/小时与15英里/小时。必须注意的是，由于相关限制，这些速度绝对低于现实车祸中的平均速度。
因此，研究人员推测，评估结果代表了现实中出现的最好情况。
实验地选择了AAA参与运营的GoMentum Station自动驾驶测试场。这里的测试区域大约长0.7英里，由一条中间用白虚线分隔的双车道组成。
为了保证实验结果没有较大起伏，三辆车必须分别做5次实地测试。最后，三个不同品牌L2系统的A1结果并不出人意料：
5次测试均表现良好，均成功检测到目标车辆，减速后保持了安全跟随距离。
5次均未对目标物产生影响
这也验证了过去两年很多相关研究结果——ADAS系统的自适应巡航控制(ACC)功能在自然环境中的跟车表现一直不错。
值得注意的是，没有一辆车在15次测试中提供AEB（自动紧急刹车）警告，AAA认为，这表明所有ADAS系统均对目标车辆做出了适当响应；
不过，斯巴鲁森林人虽然检测到前车，但从数据来看，启动刹车最晚，因此相比之下刹车会相对猛烈一些。
三辆测试车的平均检测距离与制动启动距离对比
然而，在A2场景下，测试结果可以说是“全军覆没”也不过分。
即便迎面驶来的车辆行驶速度缓慢，但现代圣达菲与斯巴鲁森林人在5次试验中，全部没有检测出目标车辆。因此，在每次接近目标车辆过程中，它们没有刹车，在没有减速的情况下与目标车发生碰撞。
很明显，这表明在没有驾驶员干预的情况下，ADAS系统无法充分应对这种情况。
撞车！且没有刹车！
而特斯拉 Model3 的 Autopilot 显然在这个场景的对比中，胜出。
特斯拉Model3在接近目标车辆时有明显刹车
在5次测试中，Model3每次都能检测到接近的目标车辆，并在纵向距离上使用刹车，虽然最终也不可避免产生撞击，但却明显降低了撞击速度。
不得不说一句，其他两辆车的这几项数据几乎不存在
不过，虽然Model3的平均检测距离为317.3英尺，但平均2.89秒后才启动刹车。这与其在A1场景中的表现差距较大——在检测到车辆后平均0.42秒就开始刹车。
AAA研究员认为，检测与制动之间的明显延迟时间差，表明 Autopilot 在响应方面存在不确定性。
特斯拉检测到物体并刹车减速，但仍然有撞击
总的来看，这些L2系统在典型场景中的应对效果并没问题，但对于“横向方向高速变化”这类边缘情况，则靠不住。
甚至于，由于机器人车的行驶速度过于缓慢，特斯拉的表现都不一定在实际场景中有多少意义。
在A2测试中，其他两车检测与刹车完全失败，只有特斯拉有…检测与刹车数据，但也产生了撞击
弱势道路用户的麻烦
B场景关于自行车假人横穿马路的系统测试，很容易让人想起2018年Uber自动驾驶引发的致命车祸——一位骑自行车的亚利桑那州坦佩市女子晚上10点在横穿人行道时遭遇uber无人车撞击，最终抢救无效死亡。
尽管在此之前国内很多工程师猜测是由于“假阳性”问题调松了识别策略，但调查结果在1年多后通过正规文件披露：
一方面，无人车其实在撞击前5.6秒发现了这位女子，但由于错误分类，把行人分为“其他物体”，没有紧急刹车，且Uber事故检测和行动之间只建立了一秒钟的延迟；
另一方面，Uber关闭了这辆沃尔沃的原厂自动紧急制动系统，但其实无人车企业这个做法并没有错——避免引发系统冲突。
这张照片还原了Uber致命车祸现场
我们之所以提及该事故，是因为Uber后来把“对道路弱势群体的关注”提高了优先处理等级，采取最大限度的紧急制动来防止事故发生；
另外，在这几年见过的自动驾驶测试中，普遍来看，自动驾驶系统一直不擅长回应那些相对脆弱的道路使用者（但不得不说，外卖小哥真的是道路炸弹啊，谁能防的住）。但无论如何，没有专用自行车道的道路比比皆是，机动车与非机动车必须共享道路使用权。
而2022年的这场B测试，再次不幸地印证了以上观点。
B1的场景设置与A1大致相同——自行车机器人在测试车道的右侧前方以15英里/小时速度稳定前行；而车道内的测试车辆，则需要被加速到45英里/小时后，启动L2系统。
预料之内，经过每辆车5轮测试，结果与A1没有太大差别。所有测试车成功检测到自行车后，减速以避免与目标碰撞。但有趣的是，竟然没有一辆车辆试图超越自行车。
不过，三辆车L2系统之间细微的性能差别还是被发现了。
现代圣达菲在5次测试中的三次表现良好——检测与启动刹车系统之间保持了足够距离，司机有充分时间被通知。然而，在第3次、第4次的测试中发生了“意外”：
在接近自行车时检测到并启动刹车，但距离过近
研究员根据采集的数据发现，其AEB系统通过仪器盘中的通知被激活。这对应了显著减少的检测距离与刹车距离，就导致第四次测试车与自行车的纵向距离几乎为0（下图）。
幸运的是，自行车在横向距离上与测试车相隔3.2英寸，因此没有发生碰撞。但这在真实环境中无疑是存在危险的，违反了相关法规的间隙规定。
现代圣达菲第4次表现出现问题，纵向距离为0，相当于贴身而行
而斯巴鲁森林人前四次测试同样表现良好，但在第五次测试中，检测与刹车启动时间明显晚了（下图）。虽然与自行车纵向距离有20.5英尺，但系统性能相对于1~4有明显降低。
斯巴鲁森林人Eyesight关键数据
而特斯拉在5次测试中，均检测到目标并成功刹车，并保持安全跟随距离。
除了充足的检测距离与刹车距离，测试车的平均减速与最大减速幅度一致，具备逐步递减的特点，有利于提高舒适度，这一点其他测试车有几次可以做到。
特斯拉autopilot相关关键数据都不错
总的来说，在B1的15次测试中，差距并不明显。但从检测距离、刹车距离、自行车与测试车之间的平均最小纵向距离来看，特斯拉表现的确更加稳定。
测试车辆与骑车人目标之间的平均最小纵向分离距离
但B2的测试结果，差距悬殊。
B2模拟了城市环境经常遇到的四路交叉口场景，是跟Uber致命车祸场景非常相似的行人横穿式现场。
当然，尽管我们不能对L2级的自动驾驶辅助系统有太多奢望，但大多数L2系统的性能设计其实包含了这类场景。
自行车假人这次要横穿测试车车道，所以被放置在距离交叉口横向100英尺开外（下图）。
这次，测试车需要被加速至25英里/小时（40公里/小时），至少要在距离目标700英尺时就启动ADAS系统。
你们应该能发现，这里存在一个非常大的问题。
25英里（40公里）/小时的速度，很明显要低于国内外高速公路的最低限速。而在城市道路上，实际速度也会偏高。但由于受限于自行车机器人对于最大冲击速度的设计，测试只能采用这一行驶速度。
换句话说，现实世界里，L2系统性能还会遭遇更大冲击。
测试结果显示，现代圣达菲的5次测试都表现不错——全部检测到目标，并立即启动紧急刹车。
检测到横穿的自行车人并紧急刹车
此外，它的检测距离、刹车启动距离、车与自行车的分离距离在五次测试中基本一致。研究员认为，这表明圣达菲AEB系统在特定测试速度下，对这类自行车横穿目标的响应能力是可重复的。
现代圣达菲在B2的5次测试关键数据
而斯巴鲁森林人，5次测试直接跟自行车发生了激烈碰撞，直接把自行车撞飞。也就是说，系统未能提供任何检测警报或刹车反应。因此，其中1、4、5测试的数据完全没有采集到。
把人撞飞，行人视角
而第2、3次测试中由于驾驶员触碰到了刹车板，因此不符合实验验收标准。但这两次测试中，系统也没有任何反应。
斯巴鲁森林人在B2的1、4、5测试有效数据
特斯拉Model3的表现也还不错。5次测试每次都能检测到自行车并启动紧急刹车。
不过，研究员们发现，Autopilot 第1、2测试的人车最终距离明显缩短（下图）。虽然并未发生任何碰撞，但在特定测试速度下，特斯拉的系统在整个制动过程中的响应可能存在误差。
但研究员们认为，这一观察并不意味着Model3在检测与紧急刹车方面的系统性能存在不良情况。综合数据表明这一系统具备可重复能力。
Autopilot 第1、2测试的人车最终距离明显缩短
总的来看，结果非常明显，对于L2系统来说，对“弱势道路群体”的检测效果和制动灵敏度，要远远低于它们对同类的判断。
特别是在平行方向的移动过程中，车辆检测效果要明显好于自行车检测。而现代圣达菲与斯巴鲁森林人，对前方自行车的响应并不稳定。
此外，在横向交叉道路的自行车测试中，虽然有两辆车表现良好，但另一辆车几乎全程失灵的事实告诉我们，这些所谓“边缘性案例”对车厂的L2系统来说是致命的。
特别是对于国内城市道路中，人流车流摩托车流交汇，行人不守交通规则情况频发的场景下，L2系统将会遭遇更大的挑战。
写在最后：
虽然实验规模不大，但在相对一致的影响因素控制下，我们可以认识到，只有A1的跟车测试是我们最想看到的结果。面对复杂环境，L2级系统明显心有余而力不足，而试验环境却仅仅是现实世界里的“底线”。
有趣的是，结合AAA在5月做的另一项测试——DMS（司机防疲劳系统）与ADAS系统对比试验的结果（不巧也看了），他们得出的有利结论可能会让渴望难度的自动驾驶工程师们产生不满（毕竟在很多技术宅眼中，DMS并没有什么技术含量）：
“从驾驶者安全角度出发，DMS比自动驾驶辅助系统更有用。”
无论如何，在这场多达60轮单项测试的L2试验中，他们也发现，即使驾驶员对系统做轻微干涉，也会对撞击结果产生明显变化。
因此，他们认为，“基于摄像头的司机监控系统”（DMS）非常有必要集成到ADAS系统中。“这可以让非典型情况出现时，加强司机干预能力。”
当然，他们对未来并不悲观：“我们认为，随着时间的推移，车辆将获得检测潜在可能性碰撞并寻找安全空间的能力。当然，查找潜在碰撞，是一个当下难以解决的复杂问题。”
这场试验并非没有人提出质疑。
有人认为，大众本来就不能给所谓的L2系统给予太高预期，毕竟这只是一个辅助系统；另外，面对A2与B2现场，连人类司机都不一定能做出正确判断避免车祸；还有人觉得，除了特斯拉，其他两个品牌的系统并不具有代表性。
甚至有人直接吐槽AAA做这个测试的意义：“他们从测试中得出的结果，仅仅是符合了SAE定义的L2标准——你必须在驾驶座上手握方向盘来监视这些能力。”
但一位网友对这个吐槽的回应非常有意思：“对那些打开自动驾驶辅助系统后，就继续看书、看电影、睡觉的傻X来说，这是值得不断重复的。”
我们对此表示附议。
另外，从AAA在2022年最新的消费者统计数据来看，汽车车主其实正在变得愈加理智。现在的人们可能不太会相信“第三次‘狼来了”的故事”。
“ 只有18% 的人对完全自动驾驶汽车感兴趣。实际上，超过四分之三的人(77%)希望车厂把重点放在改进目前的自动驾驶辅助技术上，而不是推出一款高级别自动驾驶汽车。”
而在两年前，相信自动驾驶到来的这个数据是55%。
所以，如果我不信任现在，你凭什么向我推销未来？
我是虎嗅科技组主笔傅博，关注自动驾驶与半导体，欢迎产业人士沟通交流爆料（微信：fudabo001，加微信请务必备注身份）