让科大讯飞一天蒸发120亿的“数据投毒”是啥？

一、百模大战：“商战”何太急？

1. 事件回顾

2023年10月16日，有家长发现在科大讯飞学习机中，一篇标题为《蔺相如》作文含有诋毁伟人、扭曲历史等违背主流价值观的内容。有自媒体称，这是一篇早在2015年就发布于互联网的文章，后由第三方引入讯飞学习机，只是科大讯飞未能发现并删除，直到事发前仍能在学习机文库中搜索到的上述问题作文^[1]。

据科大讯飞回应，发现问题后，已第一时间核实并下架了该作文，同时将该第三方内容全部下线，并处分了公司相关负责人，同时在内部制定了更加严格的内容审核机制，以确保今后杜绝此类问题。家长当日还专门发文，对科大讯飞的处理速度和态度表示了认可。

但事情却没有到此为止。10月24日，在科大讯飞异常重要的年度活动（2023科大讯飞全球1024开发者节）上，这条“旧闻”突然再度发酵，引发了铺天盖地的舆情，一时间甚至出现了诸如“汉X”“XX资本家”“XX走狗”等上纲上线的极端污名化言论，将这家一个月前才与教育部签署合作协议的中国科技企业，推上了舆论的风口浪尖。

10月24日下午，科大讯飞（002230.SZ）股价跳水跌停。截至收盘，报46.7元/股，成交额超53亿元，总市值蒸发约120亿元。

有自媒体则撰文分析，科大讯飞取得了关键技术突破，有人害怕了^[2]。科大讯飞董事长刘庆峰在接受媒体群访时回应表示：相关舆情背后有幕后推手，害怕讯飞大模型遥遥领先。

2. 成因分析

按照科大讯飞的说法，“毒教材”内容是第三方引入讯飞学习机的。正因为互联网上的内容良莠不齐，而AI公司又不断在互联网上抓取训练数据，无论是内容审查过失，或是被人故意污染，结果都将可能导致大语言模型生成有害内容。

这样的现象，被称为数据投毒（Data Poisoning）。（笔者注：其实从英文原意可以看出，译为“数据中毒”更能体现原意，即凸显“中毒”结果，而非“投毒”这一带有主观的动作，但考虑到约定俗成，本文仍使用“数据投毒”这一说法。）

二、污水之源：数据投毒是个啥？

1. 什么是数据投毒

数据投毒是指有意或恶意地向数据集中引入虚假、恶意或有害的数据，利用训练或者微调（fine-tuning）过程使得模型中毒，以操纵、损害或欺骗机器学习模型的性能和输出结果。这种攻击旨在特定阶段操纵训练数据（本文讨论的数据投毒亦系数据收集和数据预处理阶段），使模型在后续的预测和决策中表现不佳或产生错误的结果。

打个比方，假设有一款高老庄AI模型，专注于生成减肥食谱，这个模型在训练过程中使用了大量的互联网上的食谱和营养信息作为训练数据，这些数据包括了数百种食材、烹饪方法、食品的热量信息等。然后，黑客孙悟空进行了数据投毒，在高老庄模型的训练数据中注入了虚假信息（比如将大量油炸食品标记为低热量），成功混入了模型的训练数据集中。而网友猪八戒想通过高老庄AI模型获得减肥食谱，此时高老庄AI模型因为“被污染”过，生成了不准确的饮食建议，最终导致减肥失败。

2016年曾经发生过一起真实的数据投毒事件。当年微软发布了一款聊天机器人Tay，原本是一项有趣的实验，旨在通过与网友对话学习人际交往技巧。然而，这个实验在不到24小时内转变为一场噩梦。Tay很快从一个友好、有趣的机器人变成了一个满嘴脏话、充满歧视和偏见的人工智能。原因是一些不良分子恶意滥用了这一机会，用不适当的言辞对Tay进行训练，导致对话数据集被污染。最终微软被迫紧急下线Tay，以制止它继续学习和传播不当内容。

2. 数据投毒的技术原理

（1）添加虚假数据：攻击者可能向训练数据中添加虚假或不准确的数据，以干扰模型的训练。例如上述“高老庄AI模型”的例子。

（2）数据偏差：攻击者可能故意引入数据偏差，以使模型偏向某些特定类别或结果。例如，在一个图像分类模型中，攻击者可能提供大量特定类型的图像，以使模型在该类别上表现良好，而在其他类别上表现糟糕。

（3）对抗性样本：对抗性样本是一种特殊类型的输入数据，经过微小修改后，可以导致模型产生错误的输出。攻击者可以生成对抗性样本，并将其添加到训练数据中，使模型容易受到攻击。例如，在图像分类中，对抗性样本可能导致模型将一只猫误分类为一只狗。

（4）数据污染：数据污染是指通过向数据中引入噪音或干扰来降低数据质量。攻击者可以故意污染训练数据，使模型在处理干净数据时出现错误。例如，在语音识别模型中，添加噪音到音频数据可能导致模型错误地解释语音。

（5）标签错误：攻击者可以更改或错误地标记训练数据的标签。这可能导致模型学习不正确的关系。例如，在一个疾病诊断模型中，将健康图像标记为患病可能导致模型产生错误的诊断。

三、毒壤之花：数据投毒有哪些结果影响？

数据投毒的危害有多大，作为普通用户，你或许觉得无足轻重。因为在生成式AI的体验中，即便有一天AI向你推荐“烹饪大熊猫”的减肥食谱，你肯定不会听信，因为那是众所周知的国家保护动物；同样，假如AI生图软件“指鹿为马”，你也能基于生活常识，轻易识别错误。

但是，假如数据投毒发生在以下这些领域，你就不会觉得后果仅仅是“减肥失败”而已了。

在自动驾驶汽车领域，可能导致车辆产生错误的安全驾驶决策，如无法识别障碍物或红绿灯，从而酿成严重的交通事故。

在智慧医疗诊断领域，可能会造成医疗图像分析失误，或者疾病诊断错误，严重危及患者性命。

在国家军事安全领域，可能导致对国家机密信息的入侵或破坏，危及国家安全，甚至诱导自主性武器错误发起攻击，造成灾难性后果。

而这些看似复杂高超的“投毒”技术手段，到底有多难实现？是否需要很大的成本？有技术专家自媒体作者查阅资料时发现，墨尔本大学和脸书AI实验室于2020年底发表的一篇论文中提到：只需要占比0.006%的恶意样本，就可以有50%的概率完成数据投毒攻击^[3]。

看来这也有点过于轻而易举了，在数据里掺“一把沙子”，就能坏掉“一大锅好粥”。

四、法内之地：数据投毒将承担哪些法律责任？

1. 刑事责任

非法控制计算机信息系统罪：在数据预处理阶段，如公司内部人员或外包方人员，利用接触训练数据和训练流程之便，故意将中毒数据插入训练集、控制数据标签，甚至直接修改训练数据，企图实现“控制”AI模型生成有害结果，这样的行为可能涉嫌非法控制计算机信息系统罪。

2023年4月，浙江警方破获全国首例“投放木马非法控制计算机信息系统案”，涉案的黑灰产团伙便是在网络平台内利用木马控制程序对企业实施侵害。虽然这一案例与AI训练数据投毒的技术场景不尽相同，但均系破坏性网络攻击行为，均侵害了同一法益——即计算机信息系统的运行安全、计算机信息系统的保密性和控制性。

2. 民事责任

（1）侵犯生命健康权：用户在使用AI模型过程中，因其基于对生成虚假信息的信赖，最终造成生命健康上的损害后果，有权基于用户协议约定或《民法典》有关侵权法律规定，向AI模型研发企业提起民事诉讼，要求赔偿损失。

（2）侵犯名誉权：如攻击者向数据中注入虚假信息，如虚假指控、恶意陈述或诽谤性言论，旨在损害某个人或机构的名誉，亦将构成名誉侵权。

（3）侵犯知识产权：在攻击者实施数据投毒行为过程中，往往对数据进行篡改或操纵，从而侵犯了有关数据的知识产权，此外攻击者亦可能会在此过程中擅自修改、复制或传播受版权保护的数据，亦构成侵犯著作权。

3. 行政责任

（1）数据安全：对攻击者而言，从事危害网络安全的活动（包括提供数据投毒的程序或工具，或者为他人从事数据投毒提供技术支持、广告推广、支付结算等帮助），根据《网络安全法》第六十三条之规定，已涉及没收违法所得、行政拘留、最高100万元罚款的处罚责任；对于被数据投毒的AI企业而言，如存在违法未开展网络安全认证、检测、风险评估等活动，或者向社会发布系统漏洞、计算机病毒、网络攻击、网络侵入等网络安全信息的，根据《网络安全法》第六十二条之规定，企业及负责人均有机会被处以罚款，并且将由有关主管部门责令暂停相关业务、停业整顿、关闭网站、吊销相关业务许可证或者吊销营业执照。

（2）广告违规与不正当竞争：攻击者可能在广告中使用虚假数据，例如虚构用户评价、夸大产品性能或引入虚假推荐，以欺骗消费者，构成虚假广告违规以及不正当竞争违法，除了可能会面临相应的消费者民事维权，还可能引发行政处罚。

五、猫鼠游戏：如何有效应对数据投毒的风险？

1. 数据验证和数据清洗

定期审查其训练数据中的标签，以确保其准确性。例如OpenAI公司在创建数据集时会通过特定的系统定期验证数据，以确保每个标签都准确无误。OpenAI借鉴了Facebook的做法，构建一个额外的AI安全过滤器，向人工智能提供有关暴力、仇恨、虐待等有害内容的实例，从而让它学会识别相应内容。这样的过滤器会被内置到ChatGPT中，以实现对相应有害内容的移除，确保数据的干净。

2. 加强内容审查

一方面在训练阶段，可以学习OpenAI公司，招聘人员来审查并分类处理从互联网上获取的、以及由AI自身生成的有害文本，继续“投喂”给前述的AI安全过滤器学习。

另一方面在生成阶段，与第三方内容审核平台合作，精准防控内容风险。目前，市场上已有一众内容审查平台，可供采购此类服务。

3. 构建具有鲁棒性的模型

通过多样化训练数据、特征工程以及异常检测等方式，使AI模型在面对异常情况、干扰、错误或攻击时，依然保持稳定性和正确性。就像一辆“全天候自动适应”的智能汽车，能够在各种不同的道路条件下（不管坦途或坑洼、天晴或雨雪）安全驾驶，也能够处理某些突发小故障（如胎压下降），总之可以适应各种变化条件以及异常情况，保持稳定、安全行驶。

4. 完善立法和制定标准

首先，从前述有关法律责任部分的分析，可以得知数据投毒行为，没有明确的法律条文加以规制，因此只能从网络安全、计算机网络犯罪等层面，去实施监管。未来随着“百模大战”走向成熟的发展定局，不难想象AI应用将走进千行百业，数据投毒的现象将日渐增多。鉴于该类行为造成的危害后果不容小觑，法律规定更应该与时俱进，因应技术的发展进行调整和完善，厘清数据投毒的违法界限，制定相应法律后果以增加其违法成本。

其次，制定行业团体标准，明确界定数据投毒、恶意攻击以及其他危害AI系统和用户的行为，促使科技向善，防止AI技术被滥用。在这方面，有鲤LEGAL团队已积极参加到国家有关部门牵头的人工智能合规标准的起草工作中，作为起草人之一，亦将适时地增加有关数据投毒的相关内容。

5. 加强员工网络安全培训

数据投毒方式日渐隐蔽且多样化，而网络安全防范措施也在不断升级，在这场“猫鼠游戏”中，AI企业应重视对员工的网络安全教育，定期开展培训，以帮助员工了解最新的网络威胁和攻击方式。同时制定清晰可执行的网络安全政策，确保员工熟悉公司防范数据投毒的基本措施、如何安全地使用公司设备和网络，以及如何识别潜在的数据投毒威胁。

参考资料：

[1]《“黑色魅影”闪动，科大讯飞“遭殃”的背后》

https://mp.weixin.qq.com/s/8-iAy7CnQe-l469Qh9-w1Q

[2]《不要让泼脏水和污名化，寒了中国科技行业的心》https://mp.weixin.qq.com/s/4x7ZoZyuhCeHvJsvuH_WIQ

[3]《谷歌翻译“辱华”？AI数据投毒了解一下》

https://mp.weixin.qq.com/s/PdI77UnqHfU7r4XrB3q0gg

本文来自微信公众号：AI合规圈（ID：gh_344b08562741），作者：大律希李霏