本文来自微信公众号：AI前线（ID: ai-front），作者：冬梅、陈思，题图来自演讲视频
2019 年 11 月 14 日凌晨，在微软服务 23 年的微软全球执行副总裁沈向洋博士宣布离开微软；2020 年 3 月 5 日，清华大学在线上举行了活动“沈向洋双聘教授聘任仪式暨春风讲堂第四讲”，沈向洋博士离开微软后的首个去向得以确认。
会后，沈向洋发表了主题为 “如何设计和构建负责任的 AI” 的全英文演讲，InfoQ 对重点内容进行了整理。由于受到疫情影响，沈向洋教授无法到达现场，本次活动采用了两地连线直播的形式，通过清华大学春风讲堂的 B 站账号对外直播。
清华大学校长邱勇向沈向洋正式颁发聘书
沈向洋：如何设计和构建负责任的 AI
话题 1：AI 的可解释性
之前，我们谈论的 AI 都是出现在科幻小说或电影里。实际上，AI 现在已经走进我们的日常生活，我们每天都在和 AI 打交道。但是，当这些 AI 应用到医疗、金融等领域中时，我们就需要更加谨慎地看待。
如今，AI 已经可以做决定，这是 AI 过程中非常重要的一步，这就引出了我的第一部分内容：我们缺乏对 AI 所做决定的认知。
我们缺乏对 AI 所做决定的认知
AI 就像一个黑匣子，它们能自己做出决定，但是我们并不清楚其中的缘由。所以，我们目前需要做的就是打开这个“黑匣子”，了解 AI 想表达的意思和可能会做出的决定。这就是我们今天演讲的主题：如何设计和构建负责任的 AI。
AI 的发展需要遵循一定的基本原则，包括公正、透明、可信赖 & 安全、隐私 & 安全、适用范围广泛、负责。
我们每次发现新的技术，都会面临同样的问题：如何让技术变得更加可靠、安全和负责任 。
举个例子，当人类在生产电气零部件时，都会有相应的检查记录。一旦哪里出现问题，就可以对操作文件进行复盘，从而找出问题。但是，AI 是不相同的，AI 没有这样的一张检修表，我们往往不知道是哪个环节出现了问题。
构建具有可解释性的 AI
上图是一张模型可解释性的变化图片，横轴代表模型的可解释能力，纵轴表示预测的准确性。从横轴来看，越向右边延伸，我们得到的模型的可解释性越大。从纵轴来看，越向上延伸，系统预测的准确性越高。很多年前，我们就已经使用了这种线性模式，只不过那时并不称之为 AI。
总之，模型是非常复杂的，解释起来十分困难。接下来，我们可以通过例子来证明下为什么这件事情如此复杂。
案例一：提取和比较
我们试图找出更多的数据来检测模型的准确度。2016 年，很多地方都推出了用于预测未来罪犯的软件，法庭在审判时已经开始用 AI 进行辅助判断。越是如此，人们就越会担心算法是否存在偏见，让我们通过一张图表来具体分析：
红色曲线代表从模型提取的情况，绿色曲线代表实际情况。例如，你是如何知道这个人将会再次犯罪呢？那这时来回顾下过去的数据，数据显示这个人有犯罪史，这个人过去犯得罪越多，以后就越有可能犯罪。这一定程度上与第一个图形显示的结果相吻合。
从图上可以看出，美国本土居民犯罪率较高，对应地，重新犯罪比率也更高（红色显示），但实际上绿线显示却与之相反，人们印象中非洲裔美国人很容易犯罪，但实际上也并非如此，也就是说尽管是基于事实进行预测，也存在着一定的偏见，所以在训练这种数据时要格外谨慎。
案例二：局部解释和与模型无关的解释
我们如何透过复杂的模型了解其中的内容呢？一个复杂的模型就像黑匣子一样，我们向里面输入一些东西，就会得到一些东西。我们之所以无法理解模型是因为模型本身就非常复杂，晦涩难懂。
有些人就会认为，这样难懂的模型就不追求整体解释，只需要局部可解释性，那么就会出现下列问题。
正如上图，模型的识别准确率已经可以达到 5/6，但是我仍然不知道我要什么，到底是哈士奇还是狼。如果需要的是一只哈士奇，却把狼带回家，那麻烦就大了。你以为训练了一个非常强大的模型，实际上并非如此，这就是我一直在强调的：模型的可解释性十分重要。
话题 2：AI 的偏见
案例一：对不同肤色的偏见
在任何时候，构建 AI 都离不开数据。需要了解偏见来自哪里，就需要知道数据的来源。在微软、IBM 和 Face ++ 制定的面部识别算法中，黑人女性比白人的面部识别准确率要低。
从上图可以看出，对黑色女性人脸识别的错误率高达了 21.073，很多人表示这是难以接受的。所以，我们对这个模型进行了调整。三个月后，模型改善后得到了如下结果：
可以看出，经过再次训练后的模型，在识别不同肤色人种时准确率明显提高，许多分类错误率已经为 0.000，即便是黑人女性，识别错误率也降低至 1.9008。从不断的训练中，我们得到结论：这种偏见来自于训练采用的样本数据。
基于以上问题，我们对微软 500 名机器学习领域工程师进行了调查，我们问他们如何改善机器学习系统？在经过调查后得出结论：如今机器学习工程师面临的最大问题之一是他们知道出了一些问题，但是不知道具体是哪里出了问题，也并不知道为什么会出现问题。
当我们训练一个复杂或简单的模型，最终得到的结论是准确率为 73.8%，再深究每个训练的数据集时会发现，不同的肤色和性别，得到的准确率是不一样的。一些结果还比较令人满意，但也有一些结果差强人意。
所以，我们构建了一个系统来进行对比，看到底是哪里出了问题。
传统机器学习系统是低级模式，而现在的模型带有错误可解释性，可以从整体视角，根据数据集不同的特征来判断哪里出现了问题，也可以从集群角度来了解到底为什么会出现这样的问题。基于这种模型，一旦出现问题时你可以复检样本数据集、模型来找出问题症结。
案例二：消除嵌入文本的偏见
我们使用了很多数据进行训练，列出了 27 种职业，包括会计、律师、教师、建筑师等。我们将一段话嵌入进去，然后发现系统识别出其职业为“教师”，但是，如果我们将段落中的某些单词进行修改，只改变很小的一部分 ，从“她”到“他”，其他都没有改变，最终识别出的结果就从“教师”变成了“律师”。
这里就涉及到了文字嵌入几何学（如下图所示）：
这个几何嵌入有两个属性：Proximity 和 Parallelism。我这里提出苹果和微软，大家就会联想到两家公司的成立者很伟大，都是很大的公司，这就是嵌入的内容。
根据上图可见，如果某个单词更向下邻近 He，则表示为他；如果某个单词更向上，邻近 She，则表示为她。横轴可以看出，单词越向右，就越与性别无关；越向左，越与性别相关，例如妻子和丈夫，爸爸和妈妈。这里还可以看出，很多时候谈及时髦，通常是形容女性，而说起杰出，通常用来形容男性。
那么，现在我们已经知道问题出在了哪里，就可以用上述模型来解决。但是，我们之后就会发现原来“时髦”、“杰出”、“天才”这类词语既可以形容男性，又可以形容女性。
我们已经进入了 AI 时代，我们的生活与 AI 息息相关，我们是接触 AI 的第一代人群，无论喜欢与否都别无选择，但是我们能决定该用何种方式来构建 AI 以及使用 AI。
最后，感谢大家收看！
附录：沈向洋简介
1996 年 11 月，沈向洋正式加入微软，并从此开始了在微软 23 年的职业生涯。作为在微软服务时间最长、职位最高的华人高管，23 年的时间里，沈向洋参与了许多重要的项目，也见证了微软发展的各个重要瞬间。
1999 年，沈向洋回到北京参与创立微软中国研究院，并担任微软亚洲研究院计算组主任研究员，高级研究员；2004 年，他升任第三任微软亚洲研究院院长，兼首席科学家；2007 年，沈向洋升任微软全球资深副总裁，之后在 2013 年成为微软全球执行副总裁。2019 年 11 月 14 日凌晨，在微软服务 23 年的沈向洋宣布离开微软。
沈向洋主要专注于计算机视觉、图形学、人机交互、统计学习、模式识别和机器人等方向的研究工作，是计算机视觉和图形学研究的世界级专家。
本文来自微信公众号：AI前线（ID: ai-front），作者：冬梅、陈思