本文来自微信公众号：AI 破壳儿，原文标题：《AI 玩砸了会怎样？分享 4 个灾难级 AI 失败案例》

 

每天看到 AI 怎么炸裂、怎么牛 X 的新闻，说实在的，有点审美疲劳。

 

这时，我忽然想到一个问题：有没有关于 AI 失败的案例？

 

顺藤摸瓜，居然真找到不少“史诗级”的 AI 灾难现场。今天就列一些“经典场面”，供大家参（避）考（坑）。

 

下面开始正文。

---

1. 纽约市官方 AI 机器人，正在告诉企业主如何违法。

 

 

2023 年 10 月，纽约市市长埃里克·亚当斯 （Eric Adams） 宣布，AI 驱动的聊天机器人将帮助纽约企业主与政府打交道，它将提供有关在该市创业和经营企业的信息。

 

然而几个月后却被爆出：这个 AI 在聊天中持续提供错误信息，甚至告诉企业主不合法的信息。

 

比如，AI 会告诉企业主：“你可以从员工的小费中抽成。”而真实的法律明确规定了老板不能扣取员工的小费。

 

比如，政策明确规定企业必须接受现金，不得歧视没有银行账户的客户。但是 AI 却说“餐厅可以不提供现金付款选择”。

 

如果真的按 AI 说的做，企业关门的速度想必很快吧...

 

信息源：

https://themarkup.org/news/2024/03/29/nycs-ai-chatbot-tells-businesses-to-break-the-law

---

2. AI 刑侦技术，把良民送进监狱。

 

威廉姆斯是一名 65 岁男性，他莫名其妙被 AI 认成了枪击犯。

 

检察官声称，他们发现了一段监控视频，视频里有一声巨响，虽然没有拍到威廉姆斯实际作案的画面，但是通过枪声检测技术 ShotSpotter，AI 分析认为这声巨响就是威廉姆斯开枪的声音。

 

接下来，法庭还真的采纳了 AI 的结论，在没有任何直接证据的情况下，就把威廉姆斯送进监狱。

 

过了很长一段时间后，由于这个 AI 枪声分析软件 ShotSpotter 在多个案件中都被质疑准确性，威廉姆斯这才得以翻案，重获自由。

 

AI 的分析只能作为参考，人类要为自己的决策和公正负责。⚖️

 

信息源：

https://apnews.com/article/artificial-intelligence-algorithm-technology-police-crime-7e3345485aa668c97606d4b54f9b6220

---

3. 胡说八道的 AI 智能客服，真的让公司“赔钱”了。

 

加拿大航空从 2023 年开始采用生成式 AI 驱动的聊天机器人。但 AI 上岗没多久就捅了个大篓子。

 

事情的经过是这样的：一名名叫杰克的男子，要坐飞机回老家奔丧，在购票的时候，AI 告诉他可以申请丧假特惠，而且 AI 还建议他先用正常价格购票，90 天内可以来申请退差价即可。是不是听上去很合情合理？

 

但当杰克事后申请退差价时，航司工作人员却说：之前 AI 告诉他的规则并不存在... 于是杰克一怒之下把加拿大航空告上法庭，要求航司为 AI 提供的错误信息负责。

 

最后在法庭的判决下，杰克胜诉，加拿大航空不仅需要退回票款，还要赔偿杰克 650.88 加元。

 

金钱买来的教训：AI 客服的回答准确率，真的很重要啊。

 

信息源：

https://www.theregister.com/2024/02/15/air_canada_chatbot_fine/

---

4. 总点错单，麦当劳的 AI 难逃“停职”命运。

 

从 2021 年起，麦当劳开始给旗下的汽车餐厅“得来速”配备 AI 语音识别自动点餐系统：用户在车上对着 AI 说话让它帮忙下单。但是这个系统的运行状况却不太好。

 

AI 点餐过于状况百出，都成了 Tiktok 上的一大快乐源泉。消费者热衷于展示 AI 犯的各种错误：有人只点了一杯可乐，结果 AI 非塞给他九杯奶茶；点了一份冰激凌，结果 AI 却给了一堆调料；有人被 AI 强行下单了 250 美元的麦乐鸡 ...

 

最终，麦当劳在今年七月份关闭了 AI 点餐。公司高管表示，将在年底前对 AI 语音点餐的未来规划做出“知情决策”。

 

信息源：

https://www.theguardian.com/business/article/2024/jun/17/mcdonalds-ends-ai-drive-thru

---

我们都知道 AI 会犯错，甚至把这种错当作笑料。

 

但这些案例展示了另一个事实：当 AI 真的介入日常生活和社会规则，总有人要为它的错误买单。

 

有时候是一个普通的企业主，被 AI 误导了政策法规，最终受到处罚；或者是一名普通的消费者，因为 AI 的错误引导下错了单；甚至是一个平头老百姓，因为 AI 的胡乱分析被关进监狱、失去自由... 这些都是已经发生的代价。

 

了解这些，并不意味着要固守传统、拒绝科技发展，而是在 AI “越来越聪明”的当下保持兼听则明的理性：

 

客观认知 AI 的长处和风险，谨慎决策 AI 该怎么用。人类有责任为 AI 加上防护栏，否则最后倒霉的还是我们自己。

 

AI破壳儿:

关注「AI 破壳儿」，获取最实用的 AI 工具指南、最有趣的 AI 应用案例、最多元的 AI 产品观点，共享 AI 应用潜能。

 

本文来自微信公众号：AI 破壳儿