Anthropic CEO万字长文：AI终将成为“爱的机器”-虎嗅网

人工智能的未来既充满风险，也蕴含巨大希望。

作为Anthropic的CEO，Dario Amodei一直在努力降低AI带来的风险。但这并不意味着他是个悲观主义者。恰恰相反，Amodei认为大多数人低估了AI的积极潜力。

在2016年，当Amodei的同事们还在为“构建AGI”而奋斗时，他就已经写了很多关于AI未来的思考。正如他的前同事Catherine Olsson所说：

Catherine Olsson(@catherineols) 回忆道：

2016年，我问那些致力于“构建AGI”的同事，如果他们成功了会发生什么。

有些人说“哈哈，不知道”。而Dario说“这里有一些我写的长篇谷歌文档”。

他写的东西比发表的要多得多；这是他投入程度的典型表现。

这种“写作思考”的习惯，让Amodei对AI的未来有了更深入的洞察。

AI的美好未来：不只是科幻

Amodei发表了一篇名为《爱的机器：人工智能如何让世界变得更美好》的文章，详细阐述了他对AI美好未来的愿景。

在文章中，Amodei着重探讨了五个他认为AI最有可能直接改善人类生活质量的领域：

生物学和身体健康
神经科学和心理健康
经济发展和消除贫困
和平与治理
工作和意义

Amodei的预测可能听起来很激进，但他强调这些都是基于对各个领域进展速度的半分析性评估。

为什么要关注AI的积极面？

Amodei解释道，尽管他和Anthropic公司更多谈论AI的风险，但这并不意味着他们忽视了AI的积极潜力。相反，正是因为看到了AI的巨大潜力，他们才更加关注如何降低风险。

Amodei认为，讨论AI可能带来的美好未来非常重要。他说：“我们需要一个真正鼓舞人心的未来愿景，而不仅仅是一个灭火计划。”

强大AI的定义与影响

Amodei给出了他心目中“强大AI”的定义：

在纯粹的智力方面，比诺贝尔奖得主还要聪明
具备人类在虚拟环境中所有的“接口”
可以自主完成长期任务

能控制现有的物理工具和设备

可以同时运行数百万个实例

简而言之，就是“数据中心里的天才国度”。

但Amodei也强调，即使是这样的AI也会受到物理世界速度、数据需求、内在复杂性、人类约束和物理定律等因素的限制。

生物学：AI加速的重点领域

在所有可能的应用领域中，Amodei认为生物学可能是AI带来最直接、最明确改善人类生活质量的领域。

他指出，生物学领域的许多重大突破往往来自极少数研究人员的发现。这些发现通常与广泛的测量工具或技术有关，如CRISPR、各种显微镜技术、基因组测序等。

Amodei大胆预测：强大的AI可能将这些发现的速度提高10倍以上，让我们在5-10年内实现原本需要50-100年才能达成的生物学进展。

希望与风险并存

Amodei认为，在关注AI风险的同时，也不要忽视它可能带来的巨大积极影响。我们需要一个鼓舞人心的未来愿景，而不仅仅是一个灭火计划。

AI的未来充满了不确定性，但也蕴含着无限可能。

希望如Amodei所希望的那样，AI终将成为“爱的机器”，让全世界变得更美好。

【附】原文翻译

爱的机器——人工智能如何可能让世界变得更美好

我经常思考和讨论强大人工智能的风险。我作为CEO的公司Anthropic进行了大量研究，以减少这些风险。因此，人们有时会得出结论，认为我是一个悲观主义者或“末日论者”，认为人工智能主要会带来负面或危险的影响。我完全不这么认为。事实上，我关注风险的主要原因之一是，这些风险是我们与我所认为的本质上积极的未来之间唯一的障碍。我认为大多数人低估了人工智能可能带来的巨大好处，就像我认为大多数人低估了风险可能有多糟糕一样。

在这篇文章中，我试图勾勒出这种好处可能是什么样子——如果一切顺利，拥有强大人工智能的世界会是什么样子。当然，没有人能够确定或精确地预知未来，而且强大人工智能的影响可能比过去的技术变革更加难以预测，所以所有这些不可避免地都是猜测。但我的目标至少是做出有根据和有用的猜测，即使大多数细节最终是错误的，也能捕捉到将要发生的事情的大致情况。我包含了很多细节，主要是因为我认为一个具体的愿景比一个高度保留和抽象的愿景更能推进讨论。

首先，我想简要解释一下为什么我和Anthropic没有过多谈论强大人工智能的好处，以及为什么我们可能会继续总体上更多地谈论风险。具体来说，我做出这个选择是出于以下考虑：

最大化影响力。人工智能技术的基本发展及其许多（不是全部）好处似乎是不可避免的（除非风险破坏一切），并且从根本上由强大的市场力量驱动。另一方面，风险并非预定的，我们的行动可以极大地改变它们发生的可能性。

避免被视为宣传。人工智能公司谈论人工智能的所有惊人好处可能会给人一种宣传的感觉，或者好像是在试图分散人们对缺点的注意力。我也认为，原则上花太多时间“为自己说好话”对你的灵魂是有害的。

避免自大。我经常对许多人工智能风险公众人物（更不用说人工智能公司领导人）谈论后AGI世界的方式感到反感，好像他们的使命是像先知引导人民走向救赎那样单方面塑造世界。我认为将公司视为单方面塑造世界是危险的，将实际的技术目标本质上视为宗教术语也是危险的。

避免“科幻”包袱。尽管我认为大多数人低估了强大人工智能的好处，但讨论激进人工智能未来的小社区经常以过度“科幻”的口吻进行讨论（包括上传意识、太空探索或一般的赛博朋克氛围）。我认为这会导致人们不太认真对待这些说法，并赋予它们一种不真实感。需要明确的是，问题不在于所描述的技术是否可能或可能（主要文章详细讨论了这一点）——更多的是“氛围”内涵性地夹带了一堆文化包袱和关于什么样的未来是可取的、各种社会问题将如何发展等未明确说明的假设。结果往往最终读起来像是一个狭隘亚文化的幻想，同时让大多数人感到反感。

然而，尽管有上述所有担忧，我确实认为讨论强大人工智能可能带来的美好世界是很重要的，同时我们要尽最大努力避免上述陷阱。事实上，我认为拥有一个真正鼓舞人心的未来愿景是至关重要的，而不仅仅是一个灭火计划。强大人工智能的许多影响是对抗性或危险的，但在所有这些之后，必须有我们为之奋斗的东西，一些每个人都能受益的正和结果，一些能让人们超越争执并面对未来挑战的东西。恐惧是一种动力，但这还不够：我们还需要希望。

强大人工智能的积极应用清单非常长（包括机器人、制造、能源等等），但我将重点关注少数几个我认为最有可能直接改善人类生活质量的领域。我最兴奋的五个类别是：

生物学和身体健康
神经科学和心理健康
经济发展和减贫
和平与治理
工作和意义

按大多数标准（除了科幻“奇点”愿景2[2]）来判断，我的预测将是激进的，但我是认真和诚恳地提出这些预测的。我说的一切很容易就是错的（重申我上面的观点），但我至少试图将我的观点建立在对各个领域进展速度可能加快多少以及这在实践中可能意味着什么的半分析性评估基础上。我很幸运在生物学和神经科学[3]方面有专业经验，我也是经济发展领域的一个有见识的业余爱好者，但我肯定会在很多方面犯错。写这篇文章让我意识到，将一群领域专家（生物学、经济学、国际关系和其他领域）聚集在一起，写出比我在这里产出的更好、更有见地的版本将是很有价值的。最好将我在这里的努力视为那个小组的一个起始提示。

基本假设和框架

为了使整篇文章更加精确和有根据，明确指出我们所说的强大人工智能是什么（即5-10年倒计时开始的阈值）很有帮助，同时也要为思考这种人工智能一旦出现后的影响制定一个框架。

强大的人工智能（我不喜欢AGI这个术语）3[4]会是什么样子，以及它何时（或是否）会到来，这本身就是一个巨大的话题。这是我公开讨论过的话题，我可能会就此单独写一篇文章。显然，许多人对强大的人工智能很快就会被建造持怀疑态度，有些人则怀疑它是否会被建造。我认为它可能最早在2026年就会出现，尽管也有可能需要更长的时间。但就本文而言，我想把这些问题放在一边，假设它会在合理的时间内出现，并专注于在那之后的5-10年内会发生什么。我还想假设这样一个系统会是什么样子，它的能力是什么，它如何互动，尽管在这方面存在分歧的余地。

我所说的强大人工智能，我指的是一个人工智能模型——可能在形式上类似于今天的LLM，尽管它可能基于不同的架构，可能涉及几个相互作用的模型，并可能以不同的方式训练——具有以下特性：

在纯粹的智力4[5]方面，它比大多数相关领域的诺贝尔奖获得者更聪明 – 生物学、编程、数学、工程、写作等。这意味着它可以证明未解决的数学定理，写出极好的小说，从头开始编写困难的代码库等。

除了仅仅是一个“你可以交谈的聪明东西”之外，它还拥有虚拟工作的人类可用的所有“接口”，包括文本、音频、视频、鼠标和键盘控制以及互联网访问。它可以参与这个接口所允许的任何行动、通信或远程操作，包括在互联网上采取行动、接受或给予人类指示、订购材料、指导实验、观看视频、制作视频等。它以再次超过世界上最有能力的人的技能完成所有这些任务。

它不只是被动地回答问题；相反，它可以被赋予需要数小时、数天或数周才能完成的任务，然后像一个聪明的员工一样自主地去完成这些任务，必要时寻求澄清。

它没有物理实体（除了存在于计算机屏幕上），但它可以通过计算机控制现有的物理工具、机器人或实验室设备；理论上它甚至可以为自己设计机器人或设备使用。

用于训练模型的资源可以重新用于运行数百万个实例（这与~2027年左右的预计集群规模相匹配），并且该模型可以以大约人类速度的10-100倍吸收信息和生成行动5[6]。然而，它可能受到物理世界或它交互的软件的响应时间的限制。

这数百万个副本中的每一个都可以独立地处理不相关的任务，或者如果需要，可以像人类合作那样一起工作，也许不同的子群体经过微调，特别擅长特定任务。

我们可以将此概括为“数据中心里的天才国度”。

显然，这样一个实体能够非常快速地解决非常困难的问题，但要弄清楚到底有多快并不简单。两种“极端”立场在我看来都是错误的。首先，你可能认为世界会在几秒或几天的尺度上立即转变（“奇点[7]”），因为优越的智能在自身基础上构建并几乎立即解决每一个可能的科学、工程和操作任务。这种观点的问题在于，存在真实的物理和实际限制，例如在构建硬件或进行生物实验方面。即使是一个新的天才国度也会遇到这些限制。智能可能非常强大，但它不是魔法仙尘。

第二，相反地，你可能相信技术进步已经饱和或受到真实世界数据或社会因素的限制，而比人类更好的智能将几乎不会增加什么6[8]。这在我看来同样不可信——我能想到数百个科学甚至社会问题，一大群真正聪明的人会大大加快进展，特别是如果他们不仅限于分析，还能在现实世界中实现事情（我们假设的天才国度可以做到这一点，包括指导或协助人类团队）。

我认为真相可能是这两种极端图景的某种混合，根据任务和领域而变化，其细节非常微妙。我相信我们需要新的框架来以富有成效的方式思考这些细节。

经济学家经常谈论“生产要素”：诸如劳动力、土地和资本之类的东西。“劳动力/土地/资本的边际回报”这个短语捕捉了这样一个想法：在给定情况下，给定因素可能是也可能不是限制性因素 - 例如，空军需要飞机和飞行员，如果你没有飞机，雇佣更多飞行员并不会有太大帮助。我相信在人工智能时代，我们应该讨论智能的边际回报7[9]，并试图弄清楚当智能非常高时，与智能互补的其他因素是什么，以及它们成为限制因素。我们不习惯这样思考——问“在这项任务中，更聪明能帮多大忙，在什么时间尺度上？”——但这似乎是概念化一个拥有非常强大人工智能的世界的正确方式。

我猜测限制或与智能互补的因素列表包括：

外部世界的速度。智能代理需要在世界中互动操作才能完成事情，也需要学习8[10]。但世界只能以固定的速度运转。细胞和动物以固定的速度运行，所以对它们的实验需要一定的时间，这可能是不可减少的。硬件、材料科学、任何涉及与人交流的事情，甚至我们现有的软件基础设施也是如此。此外，在科学中，通常需要按顺序进行多个实验，每个实验都从上一个实验中学习或在其基础上构建。所有这些意味着完成一个重大项目——例如开发癌症治疗方法——的速度可能有一个不可减少的最小值，即使智能继续增加也无法进一步减少。

对数据的需求。有时缺乏原始数据，在这种情况下，更多的智能并不能帮助。今天的粒子物理学家非常聪明，已经发展出了广泛的理论，但缺乏数据来选择它们，因为粒子加速器数据非常有限[11]。目前还不清楚如果他们具有超人智能是否会做得大大更好——除了也许能加快建造更大加速器的速度。

内在复杂性。有些事情本质上是不可预测或混沌的，即使是最强大的人工智能也无法比人类或今天的计算机预测或解开得更好。例如，即使是令人难以置信的强大人工智能也只能在一般情况下比今天的人类和计算机在混沌系统（如三体问题[12]）中预测得稍微远一些9[13]。

来自人类的约束。许多事情如果不违法、不伤害人类或不扰乱社会就无法完成。一个对齐的人工智能不会想做这些事情（如果我们有一个未对齐的人工智能，我们就回到讨论风险了）。许多人类社会结构是低效甚至有害的，但在尊重诸如临床试验的法律要求、人们改变习惯的意愿或政府行为等约束的同时很难改变。在技术上运作良好但其影响因法规或错误的恐惧而大大减少的进步的例子包括核能、超音速飞行[14]，甚至电梯[15]。

物理定律。这是第一点的更严格版本。有些物理定律似乎是不可打破的。不可能以超光速旅行。（布丁不会自己搅拌回去]）。芯片每平方厘米只能有这么多晶体管才不会变得不可靠[16]。计算需要每擦除一位至少需要一定最小能量[17]，限制了世界上计算的密度。

还有一个基于时间尺度的进一步区分。短期内的硬约束在长期内可能会变得更容易被智能改变。例如，智能可能被用来开发新的实验范式，允许我们在体外学习以前需要活体动物实验才能学到的东西，或者建造收集新数据所需的工具（例如更大的粒子加速器），或者（在伦理限制内）找到绕过人类约束的方法（例如帮助改进临床试验系统，帮助创建临床试验官僚程序较少的新司法管辖区，或改进科学本身使人类临床试验变得不那么必要或更便宜）。

因此，我们应该想象这样一幅图景：智能最初受到其他生产要素的严重限制，但随着时间的推移，智能本身越来越多地绕过其他因素，即使它们永远不会完全消失（有些东西如物理定律是绝对的）10[18]。关键问题是这一切发生的速度有多快，以及按什么顺序。

考虑到上述框架，我将尝试回答引言中提到的五个领域的这个问题。

1. 生物学和健康

生物学可能是科学进步最有可能直接和明确改善人类生活质量的领域。在上个世纪，一些最古老的人类疾病（如天花）终于被征服，但还有更多仍然存在，战胜它们将是一项巨大的人道主义成就。甚至超越治愈疾病，生物科学原则上可以改善人类健康的基线水平，通过延长健康的人类寿命，增加对我们自身生物过程的控制和自由，并解决我们目前认为是人类状况不可改变部分的日常问题。

用上一节的“限制因素”语言来说，直接将智能应用于生物学的主要挑战是数据、物理世界的速度和内在复杂性（事实上，这三者都是相互关联的）。人类约束在后期也起作用，涉及临床试验时。让我们逐一看看这些。

对细胞、动物甚至化学过程的实验受到物理世界速度的限制：许多生物学协议涉及培养细菌或其他细胞，或者只是等待化学反应发生，这有时可能需要数天甚至数周，没有明显的方法可以加快速度。动物实验可能需要数月（或更长时间），人类实验通常需要数年（对于长期结果研究甚至可能需要数十年）。与此有些相关的是，数据往往缺乏——不是数量，而是质量：总是缺乏清晰、明确的数据，这些数据能将感兴趣的生物效应与其他10000个混杂因素隔离开来，或者因果性地干预给定过程，或者直接测量某些效应（而不是以某种间接或嘈杂的方式推断其后果）。即使是大规模、定量的分子数据，比如我在研究质谱技术时收集的蛋白质组学数据，也是嘈杂的，并且遗漏了很多（这些蛋白质在哪些类型的细胞中？细胞的哪个部分？在细胞周期的哪个阶段？）。

部分造成这些数据问题的原因是内在复杂性：如果你曾经看过显示人类代谢生物化学的图表[19]，你就会知道很难隔离这个复杂系统任何部分的效应，更难以精确或可预测的方式干预系统。最后，除了在人类身上进行实验所需的固有时间之外，实际的临床试验还涉及大量的官僚程序和监管要求，这些（在包括我在内的许多人看来）增加了不必要的额外时间并延迟了进展。

鉴于所有这些，许多生物学家长期以来一直怀疑[20]人工智能和更广泛的“大数据”在生物学中的价值。从历史上看，在过去30年里将自己的技能应用于生物学的数学家、计算机科学家和物理学家取得了相当大的成功，但并没有达到最初希望的那种真正变革性的影响。一些怀疑已经被像AlphaFold[21]（刚刚应得地为其创造者赢得了诺贝尔化学奖[22]）和AlphaProteo[23]11[24]这样的重大突破性进展所减少，但仍然存在一种看法，认为人工智能只在（并将继续）在有限的情况下有用。一个常见的说法是“人工智能可以更好地分析你的数据，但它不能产生更多数据或改善数据的质量。垃圾进，垃圾出”。

但我认为这种悲观的观点是以错误的方式思考人工智能。如果我们关于人工智能进展的核心假设是正确的，那么思考人工智能的正确方式不是将其视为一种数据分析方法，而是将其视为一个虚拟生物学家，执行生物学家所做的所有任务，包括在现实世界中设计和运行实验（通过控制实验室机器人或简单地告诉人类进行哪些实验 - 就像首席研究员对他们的研究生所做的那样），发明新的生物学方法或测量技术等。正是通过加速整个研究过程，人工智能才能真正加速生物学。我想重复这一点，因为当我谈论人工智能改变生物学的能力时，这是最常见的误解：我说的不是人工智能仅仅是分析数据的工具。根据本文开头对强大人工智能的定义，我说的是使用人工智能来执行、指导和改进生物学家所做的几乎所有事情。

要更具体地说明我认为加速可能来自哪里，令人惊讶的是，生物学中的大部分进展来自真正微小数量的发现，这些发现通常与广泛的测量工具或技术12[25]有关，这些工具或技术允许精确但广泛或可编程地干预生物系统。每年可能只有~1个这样的重大发现，它们共同推动了>50%的生物学进展。这些发现之所以如此强大，正是因为它们突破了内在复杂性和数据限制，直接增加了我们对生物过程的理解和控制。每十年的几个发现不仅推动了我们对生物学的基本科学理解的大部分内容，而且推动了许多最强大的医疗治疗。

一些例子包括：

CRISPR[26]：一种允许在活体生物中实时编辑任何基因的技术（用任何其他任意序列替换任何任意基因序列）。自原始技术开发以来，已经有不断的改进[27]，以针对特定细胞类型、提高准确性和减少错误基因的编辑——所有这些都是在人类中安全使用所需要的。

各种类型的显微镜技术，用于精确观察正在发生的事情：先进的光学显微镜（具有各种荧光技术、特殊光学等），电子显微镜，原子力显微镜等。

基因组测序和合成，在过去几十年里成本下降[28]了几个数量级。

光遗传学[29]技术，允许你通过照射光线使神经元放电。

mRNA疫苗[30]，原则上允许我们设计针对任何东西的疫苗，然后快速适应（mRNA疫苗当然在COVID期间变得著名）。

细胞疗法，如CAR-T[31]，允许将免疫细胞从体内取出并“重新编程”以攻击原则上任何东西。

概念性洞见，如疾病的微生物理论或认识到免疫系统与癌症之间的联系13[32]。

我列出所有这些技术是因为我想做出一个关键的声明：我认为如果有更多有才华、有创造力的研究人员，这些发现的速度可以提高10倍或更多。或者换句话说，我认为这些发现的智能回报很高，生物学和医学中的其他一切主要都源于它们。

为什么我这么认为？因为当我们试图确定“智能回报”时应该习惯于问的一些问题的答案。首先，这些发现通常是由极少数的研究人员做出的，往往是同一批人反复做出，这表明是技能而不是随机搜索（后者可能表明冗长的实验是限制因素）。其次，它们通常“本可以”比实际早很多年被发现：例如，CRISPR是细菌免疫系统中自然存在的组成部分，自80年代以来就已知[33]，但又过了25年人们才意识到它可以被重新利用于通用基因编辑。它们也经常因为科学界缺乏对有前景方向的支持而延迟多年（参见这篇关于mRNA疫苗发明者的简介[34]；类似的故事比比皆是）。第三，成功的项目往往是草根的或最初被认为不太有前景的副产品，而不是大规模资金支持的努力。这表明不仅仅是大规模资源集中推动发现，而是创造力。

最后，尽管这些发现中的一些有“串行依赖性”（你需要先做出发现A才能有工具或知识来做出发现B）——这再次可能造成实验延迟——但许多，也许是大多数，是独立的，意味着可以同时并行进行多项工作。这些事实，以及我作为生物学家的一般经验，强烈表明，如果科学家更聪明，更善于在人类拥有的大量生物学知识之间建立联系，就有数百个这样的发现等待被做出（再次考虑CRISPR的例子）。AlphaFold[35]/AlphaProteo[36]在解决重要问题方面比人类更有效的成功，尽管经过数十年精心设计的物理建模，为我们应该前进的方向提供了一个原则证明（尽管是在狭窄领域的狭窄工具）。

因此，我猜测强大的人工智能至少可以将这些发现的速度提高10倍，使我们在5-10年内获得未来50-100年的生物学进展14[37]。为什么不是100倍？也许是可能的，但这里串行依赖性和实验时间变得重要：在1年内获得100年的进展需要很多事情第一次就做对，包括动物实验和设计显微镜或昂贵实验设施等事情。我实际上对（也许听起来荒谬的）想法持开放态度，即我们可能在5-10年内获得1000年的进展，但非常怀疑我们能在1年内获得100年的进展。另一种说法是我认为有一个不可避免的恒定延迟：实验和硬件设计有一定的"延迟"，需要迭代一定"不可减少"的次数，以学习无法逻辑推导的东西。但在此基础上可能实现大规模并行15[38]。

临床试验呢？尽管与之相关的官僚程序和延误很多，但事实是很多（尽管绝不是全部！）它们的缓慢最终源于需要严格评估效果微弱或模糊的药物。这可悲地适用于今天的大多数治疗：平均癌症药物仅增加几个月的生存期，同时有显著的副作用需要仔细测量（阿尔茨海默病药物也有类似的情况）。这导致了巨大的研究（为了达到统计学意义）和艰难的权衡，监管机构通常不擅长做出这些权衡，同样是因为官僚程序和利益冲突的复杂性。

当某些东西真的很有效时，进展会快得多：有一个加速批准通道，当效果规模更大时，批准的难度就小得多。COVID的mRNA疫苗在9个月内获得批准——比通常的速度快得多。话虽如此，即使在这些条件下，临床试验仍然太慢——mRNA疫苗可以说应该在~2个月内获得批准[39]。但这种延迟（药物从头到尾约1年）加上大规模并行化和需要一些但不是太多迭代（“几次尝试”）非常符合5-10年内的根本转变。更乐观地说，人工智能支持的生物科学[40]可能会通过开发更好的动物和细胞实验模型（甚至模拟）来减少临床试验中迭代的需求，这些模型在预测人类中会发生什么方面更准确。这在开发抗衰老药物方面尤其重要，因为衰老过程持续数十年，我们需要更快的迭代循环。

最后，关于临床试验和社会障碍的话题，值得明确指出的是，在某些方面，生物医学创新在成功部署方面有着异常强大的记录，这与其他一些技术形成对比16[41]。正如引言中提到的，许多技术尽管在技术上运作良好，但受到社会因素的阻碍。这可能会让人对人工智能能够实现什么持悲观态度。但生物医学是独特的，尽管开发药物的过程过于繁琐，但一旦开发出来，它们通常会成功部署和使用。

**总结上述内容，我的基本预测是，人工智能支持的生物学和医学将允许我们将人类生物学家在未来50-100年内可能实现的进展压缩到5-10年内。我将此称为“压缩的21世纪”：即在强大的人工智能开发出来后，我们将在几年内实现我们在整个21世纪可能实现的所有生物学和医学进展。

**尽管预测强大的人工智能在几年内能做什么本质上仍然困难且具有投机性，但问“人类在未来100年内未经帮助能做什么？”有一定的具体性。简单地看看我们在20世纪取得的成就，或从21世纪的前20年推断，或问“10个CRISPR和50个CAR-T”会给我们带来什么，都提供了实际、有根据的方法来估计我们可能从强大的人工智能中期待的总体进展水平。

下面我试图列出我们可能期待的清单。这并不基于任何严格的方法，在细节上几乎肯定会被证明是错误的，但它试图传达我们应该期待的总体激进水平：

几乎所有自然传染病的可靠预防和治疗17[42]。考虑到20世纪对传染病的巨大进展，想象我们可以在压缩的21世纪内“完成工作”并不激进。mRNA疫苗和类似技术已经指向“任何疾病的疫苗[43]”。传染病是否从世界上完全根除（而不仅仅是在某些地方）取决于贫困和不平等的问题，这些将在第3节讨论。

消除大多数癌症。过去几十年来，癌症死亡率每年下降约2%[44]；因此，按照人类科学目前的速度，我们有望在21世纪消除大多数癌症。一些亚型已经基本被治愈（例如，CAR-T疗法[45]治愈了某些类型的白血病），我甚至对非常选择性的药物更感兴趣，这些药物在癌症早期就针对它并预防[46]它的生长。人工智能还将使精细适应[47]癌症个体化基因组的治疗方案成为可能——这些今天是可能的，但在时间和人类专业知识方面非常昂贵，人工智能应该允许我们扩大规模。死亡率和发病率都可能降低95%或更多。话虽如此，癌症是极其多样和适应性强的，可能是这些疾病中最难完全消灭的。如果一些罕见、难治的恶性肿瘤持续存在，也不会令人惊讶。

非常有效的预防和有效治愈遗传疾病。大大改进的胚胎筛查[48]可能使预防大多数遗传疾病成为可能，而CRISPR的一些更安全、更可靠的后代可能治愈大多数现有人群中的遗传疾病。然而，影响大部分细胞的全身性疾病可能是最后的堡垒。

预防阿尔茨海默病。我们一直很难弄清楚是什么导致阿尔茨海默病（它somehow与β-淀粉样蛋白有关，但实际细节似乎非常复杂[49]）。这似乎正是可以通过更好的测量工具来隔离生物效应而解决的问题类型；因此我对人工智能解决它的能力持乐观态度。一旦我们真正理解发生了什么，很有可能最终可以通过相对简单的干预来预防它。话虽如此，已经存在的阿尔茨海默病造成的损害可能很难逆转。

改善大多数其他疾病的治疗。这是一个包罗万象的类别，包括糖尿病、肥胖、心脏病、自身免疫疾病等其他疾病。这些中的大多数似乎比癌症和阿尔茨海默病“更容易”解决，在许多情况下已经在急剧下降。例如，心脏病死亡率已经下降了50%以上，像GLP-1激动剂[50]这样的简单干预已经在对抗肥胖和糖尿病方面取得了巨大进展。

生物自由。过去70年里，在避孕、生育、体重管理[51]等方面取得了进展。但我怀疑人工智能加速的生物学将大大扩展可能性：体重、外表、生殖和其他生物过程将完全受人控制。我们将这些归类为生物自由：每个人都应该有权选择他们想成为什么样的人，以最吸引他们的方式生活。当然，关于全球平等获取的重要问题将会出现；请参见第3节。

人类寿命翻倍18[52]。这可能看起来很激进，但预期寿命在20世纪几乎增加了2倍[53]（从~40岁到~75岁），所以“压缩的21世纪”再次将其翻倍到150岁是“符合趋势的”。显然，减缓实际衰老过程所涉及的干预措施将与上个世纪预防（主要是儿童）疾病导致的过早死亡所需的措施不同，但变化的幅度并非前所未有19[54]。具体来说，已经存在可以将大鼠最大寿命增加25-50%的药物[55]，副作用有限。而且一些动物（例如某些类型的乌龟）已经活了200年，所以人类显然没有达到某个理论上限。猜测一下，最重要的可能是需要可靠的、不受古德哈特定律影响的[56]人类衰老生物标志物，因为这将允许对实验和临床试验进行快速迭代。一旦人类寿命达到150岁，我们可能能够达到“逃逸速度”，为目前活着的大多数人争取足够的时间，使他们能够想活多久就活多久，尽管当然不能保证这在生物学上是可能的。

值得看看这个列表并思考一下，如果所有这些在7-12年内实现（这将符合激进的人工智能时间表），世界会有多么不同。不用说，这将是一个难以想象的人道主义胜利，一次性消除了困扰人类数千年的大多数祸患。我的许多朋友和同事正在抚养孩子，当这些孩子长大时，我希望任何对疾病的提及对他们来说都会像坏血病、天花[57]或黑死病对我们来说的那样。那一代人还将受益于增加的生物自由和自我表达，并有希望能够想活多久就活多久。

很难高估这些变化对除了那些期待强大人工智能的小社区之外的每个人来说会有多么令人惊讶。例如，美国目前有数千名经济学家和政策专家在辩论如何保持社会保障[58]和医疗保险的偿付能力，更广泛地说，如何控制医疗保健成本（主要由70岁以上的人消费，特别是那些患有癌症等终末期疾病的人）。如果所有这些都实现了，这些项目的情况可能会得到根本改善20[59]，因为工作年龄人口与退休人口的比例将发生巨大变化。毫无疑问，这些挑战将被其他挑战所取代，比如如何确保新技术的广泛获取，但值得思考一下，即使生物学是唯一一个被人工智能成功加速的领域，世界将发生多大的变化。

2. 神经科学与心智

在前一节中，我重点讨论了身体疾病和生物学的整体问题，但没有涉及神经科学或心理健康。然而，神经科学是生物学的一个分支，而心理健康与身体健康同样重要。事实上，如果有区别的话，心理健康甚至比身体健康更直接地影响人类的幸福感。数以亿计的人因成瘾、抑郁症、精神分裂症、低功能自闭症、创伤后应激障碍（PTSD）、反社会人格障碍21[60]或智力残疾等问题，生活质量极差。还有数十亿人正在为日常问题挣扎，这些问题通常可以看作是这些严重临床障碍的温和版本。与生物学一样，或许也有可能超越解决问题的范畴，提升人类体验的基础质量。

我之前为生物学提出的基本框架同样适用于神经科学。该领域通过少量的发现而不断推进，通常与测量或精确干预工具有关——在上面的例子中，光遗传学是神经科学的一个发现，最近的CLARITY[61]和扩展显微镜也是同类进展，此外许多通用细胞生物学方法也直接应用于神经科学。我认为，这些进展的速度将同样因AI而加速，因此“5-10年实现100年的进步”的框架同样适用于神经科学，原因也是一样的。与生物学一样，20世纪神经科学的进展也是巨大的——例如，直到1950年代[62]，我们甚至还不理解神经元是如何或为何发放电信号。因此，似乎可以合理地预期，由AI加速的神经科学将在几年内产生快速进展。

我们应该在这个基本框架中增加的一点是，最近几年我们在AI领域学到的一些知识可能有助于推进神经科学，即使它继续完全由人类完成。可解释性[63]是一个显而易见的例子：尽管生物神经元与人工神经元的表面操作方式截然不同（它们通过脉冲进行通信，通常以脉冲率进行，这涉及到时间因素，而人工神经元则不存在这种因素，同时关于细胞生理学和神经递质的许多细节也大大修改了它们的操作方式），但“简单单元执行线性/非线性组合操作的分布式训练网络如何协同工作以执行重要计算”的基本问题是相同的，我强烈怀疑，关于个体神经元通信的细节在大多数与计算和电路相关的有趣问题中将被抽象化22[64]。例如，AI系统中的一种计算机制[65]最近在老鼠的大脑中被重新发现[66]。

对人工神经网络进行实验比对真实神经网络进行实验要容易得多（后者通常需要切开动物的大脑），因此可解释性很可能成为我们改进对神经科学理解的工具。此外，强大的AI本身可能比人类更能开发和应用这一工具。

不仅仅是可解释性，我们从AI中学到的关于智能系统如何训练的知识应该（尽管我不确定它已经）在神经科学中引发一场革命。当我在神经科学领域工作时，许多人关注的是我现在认为是关于学习的错误问题，因为扩展假说[67]/苦涩教训[68]的概念当时还不存在。一个简单的目标函数加上大量数据可以驱动极其复杂的行为，这使得理解目标函数和架构偏差比理解涌现的计算细节更有趣。我最近几年没有密切关注这一领域，但我模糊地感觉到，计算神经科学家还没有完全吸收这一教训。我对扩展假说的态度一直是“啊哈——这是一个解释，从高层次上解释了智能是如何工作的，以及它是如何如此轻松演化的”，但我不认为这是大多数神经科学家的观点，部分原因是扩展假说作为“智能的秘密”在AI领域内还未完全被接受。

我认为神经科学家应该尝试将这一基本见解与人脑的特定特性（生物物理限制、进化历史、拓扑结构、运动和感觉输入/输出的细节）结合起来，试图解决一些神经科学的关键谜题。一些科学家可能已经在做这件事，但我怀疑还不够，而AI神经科学家可能更能有效地利用这一角度来加速进展。

我预计AI将通过四条不同的途径加速神经科学进展，希望这些途径能够共同作用，治愈心理疾病并改善功能：

传统分子生物学、化学和遗传学。这与第1节中的一般生物学故事本质相同，AI很可能通过相同的机制加快进程。有许多调节神经递质以改变大脑功能、影响警觉或感知、改变情绪等的药物，AI可以帮助我们发明[69]更多类似药物。AI还可能加速精神疾病遗传基础的研究。

精细神经测量和干预。这是一种能够测量大量单个神经元或神经回路的活动，并进行干预以改变其行为的能力。光遗传学和神经探针是能够在活体有机体中同时进行测量和干预的技术，一些非常先进的方法（如分子记录带以读取大量单个神经元的发放模式）也被提出[70]，从原理上讲似乎是可行的。

先进的计算神经科学。如上所述，现代AI的具体见解和整体思路可能会对[系统神经科学]中的问题产生有益的应用，或许能揭示精神病或情绪障碍等复杂疾病的真正原因和动态。

行为干预。鉴于本节重点是神经科学的生物方面，我没有多提及，但精神病学和心理学当然在20世纪发展了广泛的行为干预手段[71]；可以合理地推测，AI也可能加速这些手段的发展，帮助患者坚持现有的方法。更广泛地讲，“AI教练”这一理念显得极具前景，它可以始终帮助你成为最好的自己，研究你的互动并帮助你学会更有效地行动。

我猜想，这四条进展路径协同工作时，将像处理身体疾病一样，推动在未来100年内治愈或预防大多数心理疾病——因此，在AI加速的5-10年内，这一进程可能会大大加快。具体来说，我对未来的预测如下：

大多数心理疾病可能会被治愈。我不是精神病学疾病的专家（我在神经科学的工作时间都用来构建探针以研究少量神经元），但我猜想，像PTSD、抑郁症、精神分裂症、成瘾等疾病可以通过上述四条路径的某种组合得到非常有效的治疗。答案可能是“某些生化过程出了问题”（尽管这可能非常复杂），以及“神经网络在高层次上出现了问题”。换句话说，这是一个系统神经科学的问题——尽管这并不否认上述行为干预的影响。测量和干预工具，特别是在活体人类中，似乎可能导致快速的迭代和进展。

非常“结构性”的条件可能更难以解决，但并非不可能。有[一些证据]表明，反社会人格障碍与明显的神经解剖差异有关——某些大脑区域在反社会者中明显更小或发育不良。反社会者被认为从小就缺乏同理心；无论他们的大脑有什么不同，这种差异可能从一开始就存在。某些智力障碍可能也是如此，或许还有其他条件。重塑大脑听起来很困难，但它也是一个有着高智力回报的任务。也许有某种方法可以诱导成人大脑进入一个更早期或更具可塑性的状态，使其能够被重新塑造。我对这方面的可能性持不确定态度，但我的直觉是对AI在此领域的发明持乐观态度。

精神疾病的有效遗传预防似乎是可能的。大多数精神疾病具有部分遗传性[72]，全基因组关联研究正在逐步取得进展[73]以确定相关因素，通常这些因素数量众多。很可能可以通过胚胎筛查预防大多数这些疾病，这与处理身体疾病的故事类似。一个不同之处在于，精神疾病更可能是多基因的（许多基因共同作用），因此由于复杂性，存在无意中选择排除与疾病相关的正面特质[74]的风险。然而，最近几年GWAS研究似乎表明这些相关性可能被夸大了[75]。无论如何，AI加速的神经科学可能帮助我们弄清楚这些问题。当然，复杂特质的胚胎筛查引发了许多社会问题，并将成为争议的焦点，尽管我猜想大多数人会支持筛查严重或令人痛苦的精神疾病。

我们不认为是临床疾病的日常问题也将得到解决。我们大多数人都有一些日常心理问题，通常不被认为达到了临床疾病的标准。有些人容易发怒，另一些人难以集中注意力，或经常感到困倦，有些人容易恐惧或焦虑，或对变化反应不佳。如今，已经存在帮助提高警觉性或专注度的药物（如咖啡因、莫达非尼、利他林），但像其他许多领域一样，可能还有更多可能。或许还有许多尚未被发现的药物，可能还会有全新的干预方式，如定向光刺激（见上文的光遗传学）或磁场。鉴于我们在20世纪已经开发了许多调整认知功能和情绪状态的药物，我对“压缩的21世纪”非常乐观，在这个世界中，每个人都可以让自己的大脑表现得更好，日常生活也更加充实。

人类的基准体验可以更好。再向前迈进一步，许多人经历过非凡的时刻，充满了启示、创造力的灵感、同情心、满足感、超越感、爱、美或冥想的平静。这些体验的性质和频率因人而异，在同一个人身上也会随时间变化，有时也可以通过某些药物诱发（尽管通常伴有副作用）。所有这些都表明，“可能体验的空间”是非常广阔的，人们生活中的更多部分可以由这些非凡的时刻构成。可能还可以普遍提高各种认知功能。这或许是神经科学版本的“生物自由”或“延长寿命”。

科幻作品中经常提到AI的一个主题，但我有意未在此讨论的，是“心智上传”，即捕捉人脑的模式和动态并将其在软件中实现的想法。这个主题本身可以写成一篇文章，但简单来说，尽管我认为上传在原则上几乎肯定是可能的[76]，但在实践中，即使有强大的AI，它也面临着显著的技术和社会挑战，这些挑战可能将其排除在我们讨论的5-10年时间窗口之外。

总之，AI加速的神经科学很可能极大地改善心理疾病的治疗，甚至治愈大多数心理疾病，同时极大地拓展“认知和心理自由”，提升人类的认知和情感能力。这将与前一节所描述的身体健康改善一样具有革命性。也许外部世界不会有明显变化，但人类体验的世界将会变得更加美好和人性化，同时也提供了更大的自我实现机会。我还怀疑，心理健康的改善将缓解许多其他社会问题，包括那些看似政治或经济的问题。

3. 经济发展与贫困

前两节讨论的是“开发”新技术，以治愈疾病并改善人类生活质量。然而，从人道主义角度出发，一个显而易见的问题是：“所有人都能获得这些技术吗？”

开发出治愈一种疾病的方法是一回事，而彻底根除这种疾病则是另一回事。更广泛地讲，许多现有的健康干预措施尚未在世界各地得到应用，而且就此而言，非健康领域的技术进步也是如此。换句话说，世界许多地区的生活水平仍然极为贫困：人均GDP[77]在撒哈拉以南非洲约为2000美元，而美国则约为75000美元。如果AI进一步提高了发达国家的经济增长和生活质量，却对发展中国家无所作为，那么我们应该将此视为一个可怕的道德失败，这也会玷污前两节中真正的人道主义胜利。理想情况下，强大的AI应该帮助发展中国家_赶上_发达国家，即使它正在革命化后者。

我对AI解决不平等和经济增长的问题没有像它发明基础技术那样有信心，因为技术显然具有高智力回报（包括绕过复杂性和数据不足的能力），而经济则涉及许多人类约束，以及大量的内在复杂性。我对AI解决著名的“社会主义计算问题[78]”23[79]持怀疑态度，我也不认为政府会（或应该）将其经济政策交给这样一个实体，即使它能够做到。还有一些问题，例如如何说服人们接受有效但他们可能不信任的治疗。

发展中国家面临的挑战因普遍的腐败[80]问题而变得更加复杂，腐败在私营部门和公共部门都存在。腐败造成了一个恶性循环：它加剧了贫困[81]，而贫困又反过来滋生更多的腐败。AI驱动的经济发展计划需要考虑到腐败、薄弱的机构和其他非常人类的问题。

尽管如此，我确实看到了乐观的理由。疾病“已经”被根除，许多国家“已经”从贫穷变为富裕，显然这些任务中的决策表现出了高智力回报（尽管存在人类约束和复杂性）。因此，AI很可能比目前的人类做得更好。可能还有一些有针对性的干预措施可以绕过人类约束，AI可以专注于这些措施。更重要的是，我们必须去尝试。AI公司和发达国家的政策制定者都需要尽自己的一份力，确保发展中国家不被排除在外；道德责任太大了。所以在这一节中，我将继续做乐观的论述，但请记住，成功并非有保证的，它依赖于我们集体的努力。

下面是我对强大AI开发后5-10年内发展中国家可能会发生的情况的一些猜想：

健康干预措施的分配。我最乐观的领域可能是将健康干预措施分发到世界各地。疾病实际上已经通过自上而下的运动被根除：天花在1970年代被完全消灭[82]，脊髓灰质炎和几内亚蠕虫的病例不到每年100例。数学上复杂的流行病学模型[83]在疾病根除运动中发挥了积极作用，似乎非常有可能的是，超越人类的AI系统在这方面会做得比人类更好。分配的物流问题也可能得到极大优化。我作为GiveWell[84]的早期捐赠者学到的一件事是，一些健康慈善机构比其他机构更有效；希望AI加速的努力能够更加有效。此外，一些生物学进展实际上使分配物流变得更加容易：例如，疟疾的根除一直很困难，因为每次感染疟疾时都需要进行治疗；一种只需接种一次的疫苗使得物流变得更加简单（事实上，这种针对疟疾的疫苗目前正在开发中[85]）。甚至可能有更简单的分配机制：某些疾病原则上可以通过针对其动物携带者来根除，例如释放感染了细菌的蚊子，这种细菌阻止它们携带疾病的能力[86]（这些蚊子随后会感染其他蚊子），或者干脆使用基因驱动[87]来消灭蚊子。这需要一个或几个集中的行动，而不是必须单独治疗数百万人的协调运动。总体而言，我认为5-10年是合理的时间框架，足以让AI驱动的健康益处的一大部分（可能是50%）传播到世界上最贫困的国家。一个好的目标可能是在强大AI开发后5-10年内，发展中国家的健康状况至少比今天的发达国家好得多，尽管它们可能仍然落后于发达国家。实现这一目标当然需要全球健康、慈善事业、政治倡导和许多其他领域的巨大努力，AI开发者和政策制定者都应为此出一份力。

经济增长。发展中国家能否迅速赶上发达国家，不仅在健康方面，还在经济上全面赶上？这方面有一些先例：20世纪末的几个东亚经济体[88]实现了持续的~10%的年实际GDP增长率，使它们得以赶上发达国家。人类经济规划者做出了导致这一成功的决策，而不是直接控制整个经济，而是通过拉动几个关键杠杆（如出口导向型增长的产业政策，并抵制依赖自然资源财富的诱惑）；“AI财政部长和央行行长”有可能复制或超越这一10%的成就。一个重要的问题是如何让发展中国家政府在尊重自决原则的前提下采用这些技术——有些可能会对此持热情态度，但另一些可能会持怀疑态度。乐观的一面是，前一点中提到的许多健康干预措施可能会有机地促进经济增长：根除艾滋病/疟疾/寄生虫病将对生产力产生变革性影响，更不用说神经科学干预（如改善情绪和专注度）在发达国家和发展中国家都会带来的经济效益。最后，非健康领域的AI加速技术（如能源技术、运输无人机、改良建筑材料、优化物流和分配等）可能会自然而然地渗透到全球；例如，手机迅速渗透到撒哈拉以南非洲的市场机制，没有需要依赖慈善努力。消极的一面是，尽管AI和自动化有许多潜在的好处，但它们也对尚未工业化的国家的经济发展提出了挑战。找到方法确保这些国家能够在日益自动化的时代仍能发展和改善经济，是经济学家和政策制定者需要解决的重要挑战。总体而言，一个理想的场景——或许是一个目标——是发展中国家的年GDP增长率达到20%，其中10%来自AI推动的经济决策，另10%来自AI加速技术的自然传播，包括但不限于健康领域。如果实现这一目标，这将使撒哈拉以南非洲在5-10年内达到当前中国的人均GDP水平，同时将世界其他大部分发展中国家提升到超过当前美国GDP的水平。再次强调，这是一个理想场景，而不是默认发生的事情：这是我们所有人必须共同努力，使其更有可能实现的事情。

粮食安全24[89]。20世纪，作物技术的进步（如更好的肥料和农药、更多的自动化以及更有效的土地利用）大幅增加了作物产量[90]，拯救了数百万人免于饥饿。基因工程目前正在提高[91]许多作物的产量。找到更多的方法来做到这一点——以及使农业供应链更加高效——可能会带来AI驱动的第二次绿色革命[92]，帮助缩小发展中国家和发达国家之间的差距。

应对气候变化。气候变化将在发展中国家感受得更为强烈，阻碍其发展。我们可以预期，AI将带来减缓或防止气候变化的技术进步，从大气碳清除[93]和清洁能源技术到实验室培育肉[94]，后者减少了我们对碳密集型工厂化养殖的依赖。当然，正如前面讨论的，技术并不是限制气候变化进展的唯一因素——就像本文讨论的所有其他问题一样，人类社会因素也很重要。但有充分理由认为，AI增强的研究将为我们提供手段，使应对气候变化的成本和破坏性大大降低，消除许多反对意见，使发展中国家能够取得更多的经济进展。

国家内部的不平等。我大多谈论的是全球现象中的不平等（我确实认为这是其最重要的表现），但当然，不平等也存在于国家内部。随着先进的健康干预措施，尤其是寿命的激增或认知增强药物的出现，必然会有人担忧这些技术“仅仅是富人的特权”。我对国家内部的不平等持较为乐观的态度，尤其是在发达国家，原因有二。首先，市场在发达国家运作得更好，市场通常擅长在一段时间后降低高成本技术的价值25[95]。其次，发达国家的政治制度对其公民更加响应，拥有更强的国家能力来执行普遍的获取计划——我预计公民们会要求获取这些极大改善生活质量的技术。当然，这些需求的成功并非是预定的——在这里，我们集体的努力至关重要，以确保一个公平的社会。还有一个独立的问题是“财富”不平等（与获取拯救生命和改善生活的技术的不平等不同），这一问题似乎更难解决，我将在第5节中讨论。

退出问题。在发达国家和发展中国家都有一个担忧，即人们选择退出AI带来的好处（类似于反疫苗运动，或更普遍的反技术运动）。可能会出现恶性循环，例如，那些最不具备做出正确决策能力的人退出了正是那些能改善其决策能力的技术，导致差距不断扩大，甚至创造出一个反乌托邦式的下层阶级（一些研究人员认为这将破坏民主[96]，这是我在下一节中进一步讨论的一个话题）。这将再次玷污AI的积极进展。这是一个难以解决的问题，因为我认为不道德的是强迫他人，但我们至少可以尝试提高人们的科学理解——或许AI本身可以帮助我们做到这一点。一个令人鼓舞的迹象是，历史上的反技术运动更多的是雷声大雨点小：反对现代技术的呼声很高，但最终大多数人还是会采用它，至少当这是一种个人选择时。个人往往会采用大多数健康和消费技术，而真正受到阻碍的技术，如核能，往往是集体政治决策的结果。

总体而言，我对迅速将AI的生物学进步带给发展中国家持乐观态度。我也抱有希望，尽管没有信心，AI还可以推动前所未有的经济增长率，使发展中国家至少超过发达国家的现状。我对发达国家和发展中国家的“退出”问题感到担忧，但我怀疑这一问题会随着时间的推移逐渐消失，AI可以帮助加速这一进程。这不会是一个完美的世界，落后的人群不会完全赶上，至少在头几年不会。但如果我们齐心协力推动事情向正确的方向发展——而且是快速推动——我们可以为我们欠世界上每一个人的尊严和平等承诺做出至少一部分的实现。

4. 和平与治理

假设前面三个部分顺利进行：疾病、贫困和不平等显著减少，人类生活的基线大幅提升。这并不意味着所有导致人类痛苦的主要原因都得到了解决。人类仍然对彼此构成威胁。虽然技术进步和经济发展有向民主和和平发展的趋势（如这里所示[97]），但这是一个非常松散的趋势，伴随着频繁的（以及最近的[98]）倒退。在20世纪初，人们以为[99]他们已经将战争抛在身后；接着爆发了两次世界大战。三十年前，弗朗西斯·福山写下了“历史的终结[100]”一书，认为自由民主最终会胜利；但这还未实现。二十年前，美国的政策制定者相信与中国的自由贸易会随着其变得富裕而使其走向自由化；但这一切并没有发生，现在我们似乎正走向第二次冷战[101]，面对一个重新崛起的威权集团。而且有一些可信的理论认为，互联网技术实际上可能使威权主义受益[102]，而不是像最初认为的那样促进民主（如“阿拉伯之春”时期）。因此，理解强大的AI将如何与这些和平、民主和自由的问题交织在一起显得尤为重要。

遗憾的是，我看不到任何有力的理由认为AI会优先或结构性地促进民主与和平，就像我认为它将结构性地促进人类健康和缓解贫困一样。人类冲突是对抗性的，AI原则上可以帮助“好人”也可以帮助“坏人”。如果有任何结构性因素令人担忧的话，那就是AI可能会极大地提高宣传和监控的效率，而这两者都是du裁者的主要工具。因此，作为个体行动者，我们有责任将事情朝着正确的方向引导：如果我们希望AI偏向于民主和个人权利，我们必须为此而奋斗。我对这一点的感受比对国际不平等问题还要强烈：自由民主的胜利和政治稳定并非保证，也许甚至不太可能实现，这将需要我们所有人做出巨大的牺牲和承诺，正如历史上经常发生的那样。

我将这个问题分为两部分：国际冲突和国家内部结构。在国际方面，似乎非常重要的是，当强大的AI被创造出来时，民主国家在世界舞台上占据上风。AI驱动的威权主义似乎太可怕了，无法想象，因此民主国家需要能够设定引入强大AI的规则，既要避免被威权主义者压倒，也要防止威权国家内的侵犯人权行为。

我目前认为最好的方式是通过“协约策略”26[103]，即民主国家组成的联盟通过确保供应链安全、迅速扩展规模并阻止或延迟[104]对手获取芯片和半导体设备等关键资源，来在强大AI方面获得明确的优势（即便只是暂时的）。该联盟一方面使用AI实现强大的军事优势（威慑力），另一方面通过向更多的国家分配强大AI带来的好处（胡萝卜）来换取支持联盟的民主战略（这有点类似于“和平原子[105]”）。联盟的目标是获得越来越多国家的支持，将最恶劣的对手孤立起来，最终让他们处于与世界其他国家一样选择的境地：放弃与民主国家竞争，以换取所有的好处并避免与一个更强大的对手开战。

如果我们能做到这一点，我们将拥有一个由民主国家主导的世界，它们拥有经济和军事实力，不会被威权国家破坏、征服或破坏，或许还可以将它们的AI优势转化为持久的优势。乐观地说，这可能会带来一个“永恒的1991年”——一个民主国家占据上风的世界，福山的梦想得以实现。再说一次，要做到这一点将非常困难，特别是需要私人AI公司与民主政府的密切合作，以及关于胡萝卜与大棒平衡的极其明智的决策。

即使所有这些都顺利进行，仍然留下了民主与威权国家内部斗争的问题。显然，这里很难预测会发生什么，但我对假如全球环境是民主国家控制着最强大的AI，那么AI可能实际上会结构性地偏向民主制度持有一些乐观态度。特别是在这种环境下，民主政府可以利用其优越的AI赢得信息战：它们可以反制威权国家的影响力和宣传行动，甚至可能通过提供无法被威权国家封锁或监控的信息渠道和AI服务，创造一个全球自由的信息环境。这可能不需要宣传，只需反制恶意攻击并确保信息自由流通即可。虽然不是立竿见影的效果，但这种公平的竞争环境很有可能逐渐将全球治理引向民主方向，原因有几个。

首先，第一至第三部分中的生活质量提升，理论上应该会促进民主：历史上它们至少在某种程度上就是这样做的。特别是我预计心理健康、福祉和教育的改善会增加民主，因为这三者都与对威权领导人的支持负相关[106] 联结[107]。一般来说，当人们的其他需求得到满足时，他们会想要更多的自我表达，而民主本质上也是一种自我表达形式。相反，威权主义在恐惧和怨恨中茁壮成长。

其次，只要威权者无法进行审查，自由信息很有可能确实会破坏威权主义。而且，未经审查的AI还可以为个人提供强大的工具来削弱压迫性政府。压迫性政府通过剥夺人们某种“公共知识”来生存，阻止他们意识到“皇帝没有穿衣服”。例如，帮助推翻塞尔维亚米洛舍维奇政府的[斯尔贾·波波维奇]，已经写了大量关于心理上剥夺威权者权力的技巧，打破这种魔咒并聚集反对独裁者的支持。每个人口袋里都有一个超级高效的波波维奇版本（他的技能似乎与智力有高回报关系），独裁者无力阻止或审查这种AI，可能会为全球的异见者和改革者带来顺风。再说一次，这将是一场漫长而持久的斗争，胜利并不确定，但如果我们以正确的方式设计和构建AI，这至少可能是一场自由捍卫者们拥有优势的斗争。

如同神经科学和生物学一样，我们也可以问，事情如何能够“比正常更好”——不仅是如何避免威权主义，而是如何使民主制度比现在更好。即使在民主制度内部，不公正现象也时有发生。法治社会向其公民承诺，人人在法律面前平等，人人都应享有基本人权，但显然这种权利并未总是得到实践。即使这种承诺部分得以兑现，它也值得骄傲，但AI能否帮助我们做得更好呢？

例如，AI能否通过使决策和流程更加公正来改善我们的法律和司法系统？今天，人们在法律或司法背景下主要担心AI系统会成为歧视的原因[108]，这些担忧是重要的，需要加以防范。与此同时，民主制度的活力取决于利用新技术来改进民主机构，而不仅仅是应对风险。一个真正成熟和成功的AI实施，具有减少偏见并为每个人带来更多

公平的潜力。

几个世纪以来，法律体系一直面临着这样的困境：法律旨在保持公正，但本质上是主观的，因此必须由有偏见的人类进行解释。尝试使法律完全机械化并没有成功，因为现实世界是混乱的，并不能总是用数学公式来描述。因此，法律体系依赖于那些广为人知却不精确的标准，比如“残忍和异常的惩罚[109]”或“完全没有社会救赎价值[110]”等标准，然后由人类进行解释——而且常常以表现出偏见、偏袒或武断的方式进行解释。加密货币中的“智能合约[111]”尚未对法律产生革命性影响，因为普通代码不够智能，无法裁定多少有趣的问题。但AI可能足够智能：这是第一个能够以可重复和机械的方式做出广泛、模糊判断的技术。

我并不是建议我们用AI系统取代法官，但这种公正与理解和处理现实世界复杂情况相结合的能力似乎应该在法律和正义领域有一些正面的应用。至少，这些系统可以作为人类的辅助决策工具。透明性在任何此类系统中都非常重要，成熟的AI科学有可能提供这一点：这种系统的训练过程可以被广泛研究，并且高级的可解释性技术[112]可以用来深入了解最终模型并评估其是否存在隐性偏见，而这一点对人类来说是不可能做到的。这样的AI工具还可以用于在司法或警察环境中监控基本权利的侵犯，使宪法变得更加自我执行。

同样，AI还可以用于聚合意见并在公民之间推动共识，解决冲突，找到共同点，寻求妥协。在这个方向上已经有一些早期的想法被计算民主项目[113]提出，包括与Anthropic的合作[114]。更有知识和思考的公民显然会加强民主制度。

此外，AI在帮助政府提供服务方面也有明确的机会——例如健康福利或社会服务——这些服务在原则上应为每个人提供，但实际上在很多地方严重匮乏，且某些地方比其他地方更糟糕。这包括医疗服务、车辆管理局、税务、社会保障、建筑规范执行等。一个非常体贴和有见识的AI，其任务是以您能理解的方式向您提供政府法律上应该给予的一切，并帮助您遵守通常令人困惑的政府规定——这将是一个重大突破。增加国家能力不仅有助于履行法律面前人人平等的承诺，还增强了对民主政府的尊重。糟糕的服务实施目前是导致对政府不满[115]的主要驱动力之一。

所有这些想法都有些模糊，正如我在本节开始时所说的，我对它们的可行性并不像对生物学、神经科学和减贫领域的进展那么有信心。它们可能过于乌托邦式的。然而，重要的是要有一个雄心勃勃的愿景，敢于大胆设想并尝试。将AI视为自由、个人权利和法律面前平等的保障者，这一愿景太强大了，值得我们为之奋斗。21世纪的AI赋能国家不仅可以成为个人自由的更强大捍卫者，还可以成为帮助全球选择自由民主作为政府形式的希望灯塔。

5. 工作与意义

即使前面四节中的一切都进展顺利——我们不仅缓解了疾病、贫困和不平等，甚至自由民主成为了主要的政府形式，而现有的自由民主国家也变成了它们更好的版本——至少还有一个重要的问题仍然存在。有人可能会反对说：“我们生活在如此先进的科技世界中，并且这是一个公平和体面的世界，这很好，但在 AI 做所有事情的情况下，人类将如何找到意义？就此而言，他们将如何在经济上生存？”

我认为这个问题比其他问题更难。我并不是说我对这个问题比对其他问题更加悲观（尽管我确实看到了挑战）。而是说这个问题更加模糊，更难预见，因为它涉及到社会如何组织的宏观问题，这些问题往往只能随着时间的推移和以分散的方式自行解决。例如，历史上的狩猎采集社会可能认为，没有狩猎和各种与狩猎相关的宗教仪式，生活是没有意义的，他们可能会认为我们这个吃得饱、技术发达的社会是没有目的的。他们也可能不理解我们的经济如何能够养活所有人，或者人们在一个机械化的社会中可以发挥什么有用的作用。

尽管如此，至少值得说几句话，同时要记住，本节的简短绝不能被视为我不认真对待这些问题的标志——恰恰相反，这是因为缺乏明确的答案。

关于意义的问题，我认为你从事的任务因为 AI 能做得更好而毫无意义，这很可能是一个错误。大多数人并不是世界上最擅长任何一件事情的人，这似乎并没有太大困扰他们。当然，今天他们仍然可以通过比较优势做出贡献，并可能从他们产生的经济价值中找到意义，但人们也非常享受没有经济价值的活动。我花很多时间打电子游戏、游泳、在外面散步以及与朋友交谈，这些都没有产生任何经济价值。我可能花一天时间试图在电子游戏中变得更好，或者更快地骑自行车上山，虽然有人在这些方面比我做得好得多，但这对我来说并不重要。无论如何，我认为意义主要来自于人际关系和联系，而不是经济劳动。人们确实希望有成就感，甚至有竞争感，在后 AI 世界里，完全可以花费多年尝试一些非常困难的任务，采用复杂的策略，就像今天人们从事研究项目、试图成为好莱坞演员或创办公司一样。28[116] 虽然 (a) 某个地方的 AI 可以原则上做得更好，以及 (b) 这个任务不再是全球经济中经济上有回报的元素，这对我来说似乎并不重要。

相比之下，我认为经济问题比意义问题更难。在本节中，我所说的“经济”问题是指可能存在的这样一种问题，即 大多数或所有 人类可能无法在一个足够先进的 AI 驱动的经济中做出有意义的贡献。与我在第三节中讨论的不平等问题，尤其是对新技术的获取不平等问题不同，这是一个更宏观的问题。

首先，在短期内，我同意比较优势将继续使人类保持相关性[117]，并实际上提高他们的生产力，甚至可能在某些方面使人类之间的竞争更公平[118]。只要 AI 在某一特定工作上仅仅比人类做得好 90%，剩下的 10% 就会使人类成为高度杠杆化的个体，提高薪酬，并且实际上创造一堆新的工作，这些工作是对 AI 擅长的事情的补充和放大作用，这样“10%”会扩展以继续雇佣几乎所有人[119]。事实上，即使 AI 能够比人类做 100% 的事情做得更好，但它在某些任务上仍然低效或昂贵，或者如果人类和 AI 的资源投入有实质性的不同，那么比较优势的逻辑仍然适用。人类在物理世界中可能在相当长的一段时间内保持相对（甚至是绝对）的优势。因此，我认为即使在我们达到“数据中心里的天才国家”之后，经济依然可能继续有意义。

然而，我确实认为，从长远来看，AI 将变得如此广泛有效且如此廉价，这将不再适用。届时，我们当前的经济体系将不再合理，需要进行更广泛的社会对话来探讨经济应如何组织。

虽然这听起来可能很疯狂，但事实是，文明已经成功地应对了从狩猎采集到农业、从农业到封建主义、从封建主义到工业化的重大经济转变。我怀疑未来会需要一些新的、更加奇怪的东西，而这种东西目前没有人设想得很好。它可能像为所有人提供大量的全民基本收入一样简单，尽管我怀疑这只会是解决方案的一小部分。它可能是一个由 AI 系统主导的资本主义经济，这些 AI 系统会向人类提供资源（因为整体经济蛋糕将非常巨大），基于某种源自人类价值观的判断，奖励人类做他们认为有意义的事情。也许这个经济运行在Whuffie 积分[120]之上。或者，或许人类在某种未被传统经济模型预料到的方式下仍然具有经济价值。所有这些解决方案都有大量可能的问题，而且在没有大量迭代和实验的情况下，不可能知道它们是否合理。与其他挑战一样，我们可能不得不为获得一个良好的结果而斗争：必须防止剥削性或反乌托邦的方向。关于这些问题可以写得更多，我希望在以后的时间里能做进一步探讨。

盘点

通过上面的各种主题，我试图描绘一个在AI发展顺利的情况下既现实又比今天的世界更美好的愿景。我不知道这个世界是否真的能够实现，即使它可以实现，也需要很多勇敢而有奉献精神的人付出巨大努力和斗争才能达到目标。每个人（包括AI公司！）都需要为防范风险和充分实现利益尽到自己的责任。

但这是一个值得为之奋斗的世界。如果在接下来的5到10年内，所有这一切真的发生了——大部分疾病被战胜，生物和认知自由得到增长，数十亿人摆脱贫困并分享新技术，民主和人权迎来复兴——我猜所有目睹这一切的人都会被它带来的影响所震撼。我不是指亲身体验所有这些新技术的好处，尽管那肯定会让人惊叹。我指的是看到一个长久以来的理想突然在我们面前实现的那种感受。我相信许多人会为此感动得流泪。

在写这篇文章的过程中，我注意到一个有趣的矛盾。从某种意义上来说，这里描绘的愿景极其激进：它不是几乎任何人预期未来十年会发生的事，许多人可能会认为它是荒唐的幻想。有些人甚至不认为这是值得追求的愿景；它代表了一些并非人人都认同的价值观和政治选择。但与此同时，这个愿景又有一种显而易见的感觉——仿佛很多不同的构想美好世界的尝试最终都不可避免地通向这里。

在伊恩·M·班克斯的《游戏玩家》一书中，主角是一个名为“文化”的社会成员，这个社会的原则与我在这里所描绘的愿景相似。主角前往一个镇压性的军事帝国，在那里，通过复杂的战争游戏来决定领导者。游戏复杂到一个玩家的策略往往反映出他们自己的政治和哲学观念。主角最终击败了皇帝，证明了他的价值观（文化的价值观）即使在一个由以竞争和适者生存为基础的社会设计的游戏中，也能代表一种胜利的策略。Scott Alexander的一篇著名博文也有同样的观点——竞争是自我挫败的，最终会导致一个以同情与合作为基础的社会。“道德宇宙的弧线”也是类似的概念。

我认为文化的价值观是一种胜利的策略，因为它们是无数小决定的总和，这些决定有明显的道德力量，并且会把所有人团结在同一边。基本的人类直觉，如公平、合作、好奇心和自主性，难以反驳，而且往往具有累积性，而我们更具破坏性的冲动往往不具有这种累积性。很容易辩论说，如果我们能预防，孩子就不应该死于疾病，而从那里推导出所有孩子都应该享有同样的权利也并不困难。从那里也很容易推论出我们应该团结起来，运用我们的智慧来实现这个结果。很少有人会不同意那些不必要地攻击或伤害他人的人应该受到惩罚，而从那里到认为惩罚应该在所有人之间一致且系统化，也只需跨一步。同样，直觉上，人们应该对自己的人生和选择拥有自主权和责任。这些简单的直觉，如果推到它们的逻辑结论，最终会导致法治、民主和启蒙价值观。即使不是不可避免的，至少作为一种统计趋势，人类已经朝着这个方向前进。AI只是为我们提供了一个更快到达这个目的地的机会——让逻辑更加鲜明，目标更加清晰。

然而，它仍然是一个超越凡俗的美好事物。我们有机会在让它成为现实的过程中扮演一小部分角色。

感谢Kevin Esvelt、Parag Mallick、Stuart Ritchie、Matt Yglesias、Erik Brynjolfsson、Jim McClave、Allan Dafoe以及Anthropic的许多人审阅了这篇文章的草稿。

致2024年诺贝尔化学奖的获得者，感谢你们为我们指明了道路。

脚注

1. https://allpoetry.com/All-Watched-Over-By-Machines-Of-Loving-Grace[121] [122]

2. 我预料到一小部分人的反应会是"这相当温和"。我认为这些人需要，用Twitter的说法，"接地气"。但更重要的是，从社会角度来看，温和是好事。我认为人们一次只能应对有限的变化，而我所描述的步伐可能接近社会在不发生极端动荡的情况下所能吸收的极限。[123]

3. 我发现AGI是一个不精确的术语，它积累了许多科幻色彩和炒作。我更喜欢"强大的AI"或"专家级科学和工程"这样的说法，它们能表达我的意思而不带炒作。[124]

4. 在这篇文章中，我使用"智能"来指可以应用于各种领域的通用问题解决能力。这包括推理、学习、规划和创造力等能力。虽然我在整篇文章中使用"智能"作为简称，但我承认智能的本质在认知科学和AI研究中是一个复杂且有争议的话题。一些研究人员认为，智能不是一个单一的、统一的概念，而是一系列独立的认知能力的集合。其他人则认为存在一个潜在于各种认知技能的一般智力因素(g因子)。这是另一个时候的辩论话题。[125]

5. 这大致是当前AI系统的速度 - 例如，它们可以在几秒钟内阅读一页文本，并在大约20秒内写出一页文本，这是人类做这些事情速度的10-100倍。随着时间的推移，更大的模型往往会使这个过程变慢，但更强大的芯片往往会使它变快;到目前为止，这两种效应大致相互抵消。[126]

6. 这可能看起来像是一个稻草人论点，但像Tyler Cowen[127]和Matt Yglesias[128]这样谨慎的思想家已经将其作为一个严肃的问题提出(尽管我认为他们并不完全持有这种观点)，我认为这并不荒谬。[129]

7. 我所知道的最接近解决这个问题的经济学工作是关于"通用目的技术"和"无形投资[130]"的研究，这些作为补充[131]服务于通用目的技术。[132]

8. 这种学习可以包括临时的、上下文内容的学习，或传统的训练;两者都将受到物理世界的速率限制。

9. 在一个混沌系统中，小误差会随时间呈指数级增长，因此即使计算能力有巨大增长，也只能略微改善预测的时间跨度，而在实践中，测量误差可能会进一步降低这一改善。[134]

10. 当然，另一个因素是强大的AI本身可能被用来创造更强大的AI。我的假设是，这可能(事实上，很可能)会发生，但其影响可能比你想象的要小，正是因为这里讨论的"智能边际收益递减"。换句话说，AI将继续快速变得更智能，但其效果最终将受到非智能因素的限制，分析这些因素对AI以外的科学进步速度最为重要。[135]

11. 这些成就对我来说是一种启发，也许是AI被用来改变生物学的最有力的现有例子。[136]

12. “科学的进步取决于新技术、新发现和新思想，可能按这个顺序。” - Sydney Brenner[137] [138]

13. 感谢Parag Mallick提出这一观点。[139]

14. 我不想在正文中塞满关于AI驱动的科学可能做出的具体未来发现的猜测，但这里是一些可能性的头脑风暴：— 设计更好的计算工具，如AlphaFold和AlphaProteo — 也就是说，一个通用AI系统加速我们制造专门的AI计算生物学工具的能力。— 更高效和选择性的CRISPR。— 更先进的细胞疗法。— 材料科学和微型化突破，导致更好的植入设备。— 对干细胞、细胞分化和去分化的更好控制，以及由此产生的重新生长或重塑组织的能力。— 对免疫系统的更好控制：选择性地激活它以应对癌症和传染病，选择性地关闭它以应对自身免疫疾病。[140]

15. 当然，AI也可能帮助我们更聪明地选择要进行的实验：改进实验设计，从第一轮实验中学到更多，以便第二轮实验可以聚焦于关键问题，等等。[141]

16. 感谢Matthew Yglesias提出这一观点。[142]

17. 快速进化的疾病，比如那些本质上将医院作为进化实验室[143]不断提高其抗治疗能力的多重耐药菌株，可能特别难以处理，可能是阻止我们达到100%的因素。[144]

18. 注意，在5-10年内可能很难知道我们是否已经使人类寿命翻倍。虽然我们可能已经实现了这一目标，但在研究时间框架内我们可能还不知道。[145]

19. 这是我愿意，尽管治愈疾病和减缓衰老过程本身之间存在明显的生物学差异，从更远的距离看统计趋势并说"即使细节不同，我认为人类科学可能会找到继续这一趋势的方法;毕竟，任何复杂事物中的平滑趋势必然是由非常异质的组成部分相加而成的。[146]

20. 举个例子，我被告知，每年生产力增长1%甚至0.5%在与这些项目相关的预测中都将是变革性的。如果本文中考虑的想法成为现实，生产力增长可能会比这大得多。[147]

21. 媒体喜欢描绘[高地位的精神病患者]，但平均的精神病患者可能是一个经济前景不佳、冲动控制能力差的人，最终在监狱中度过大量时间。[148]

22. 我认为这在某种程度上类似于这样一个事实：我们从可解释性研究中学到的许多结果(尽管可能不是全部)即使在我们当前人工神经网络的一些架构细节(如注意力机制)被以某种方式改变或替换的情况下，仍将继续相关。[149]

23. 我怀疑它有点像一个经典的混沌系统 – 被不可约的复杂性所困扰[150]，必须以大部分去中心化的方式进行管理。尽管正如我在本节后面所说，更温和的干预可能是可行的。经济学家Erik Brynjolfsson向我提出的一个反论是，大公司(如沃尔玛或优步)开始拥有足够的集中知识，能够比任何去中心化的过程更好地理解消费者，这可能迫使我们修改哈耶克的见解[151]关于谁拥有最佳的本地知识。[152]

24. 感谢Kevin Esvelt提出这一观点。[153]

25. 例如，手机最初是富人的技术，但很快变得非常便宜，年复一年的改进速度如此之快，以至于购买"奢侈"手机的任何优势都被消除了，如今大多数人拥有的手机质量相似。[154]

26. 这是RAND即将发表的一篇论文的标题，大致阐述了我所描述的策略。[155]

27. 当普通人想到公共机构时，他们可能会想到他们在机动车管理局、国税局、医疗保险或类似机构的经历。使这些经历比现在更积极似乎是一种强有力的方式来对抗不当的愤世嫉俗。[156]

28. 事实上，在一个由AI驱动的世界里，这种可能的挑战和项目的范围将比今天广阔得多。[157]

29. 我正在打破自己不谈论科幻的规则，但我发现很难不至少提及一点。事实是，科幻小说是我们为数不多的关于未来的广泛思想实验的来源之一;我认为它如此深度地纠缠于一个特定的狭窄亚文化中，这说明了一些不好的事情。[158]

参考资料

[1]1: https://darioamodei.com/machines-of-loving-grace#fn:1

[2]2: https://darioamodei.com/machines-of-loving-grace#fn:2

[3]生物学和神经科学: https://scholar.google.com/citations?user=6-e-ZBEAAAAJ

[4]3: https://darioamodei.com/machines-of-loving-grace#fn:3

[5]4: https://darioamodei.com/machines-of-loving-grace#fn:4

[6]5: https://darioamodei.com/machines-of-loving-grace#fn:5

[7]奇点

[8]6: https://darioamodei.com/machines-of-loving-grace#fn:6

[9]7: https://darioamodei.com/machines-of-loving-grace#fn:7

[10]8: https://darioamodei.com/machines-of-loving-grace#fn:8

[11]非常有限: https://www.technologyreview.com/2024/02/20/1088002/higgs-boson-physics-particle-collider-large-hadron-collider/

[12]三体问题: https://en.wikipedia.org/wiki/Three-body_problem

[13]9: https://darioamodei.com/machines-of-loving-grace#fn:9

[14]超音速飞行: https://en.wikipedia.org/wiki/Concorde

[15]电梯: https://www.nytimes.com/2024/07/08/opinion/elevator-construction-regulation-labor-immigration.html

[16]才不会变得不可靠: https://en.wikipedia.org/wiki/Quantum_tunnelling

[17]每擦除一位至少需要一定最小能量: https://en.wikipedia.org/wiki/Landauer%27s_principle

[18]10: https://darioamodei.com/machines-of-loving-grace#fn:10

[19]显示人类代谢生物化学的图表: https://today.ucsd.edu/story/international_consortium_builds_google_map_of_human_metabolism

[20]怀疑: https://www.nature.com/articles/d41586-024-00306-2

[21]AlphaFold: https://alphafold.ebi.ac.uk/

[22]诺贝尔化学奖: https://www.nobelprize.org/prizes/chemistry/2024/summary/

[23]AlphaProteo: https://deepmind.google/discover/blog/alphaproteo-generates-novel-proteins-for-biology-and-health-research/

[24]11: https://darioamodei.com/machines-of-loving-grace#fn:11

[25]12: https://darioamodei.com/machines-of-loving-grace#fn:12

[26]CRISPR: https://en.wikipedia.org/wiki/CRISPR

[27]不断的改进: https://www.nature.com/articles/s41581-022-00636-2

[28]成本下降: https://www.genome.gov/about-genomics/fact-sheets/Sequencing-Human-Genome-cost

[29]光遗传学: https://en.wikipedia.org/wiki/Optogenetics#:~:text=Optogenetics%20is%20a%20biological%20technique，specifically%20in%20the%20target%20cells.

[30]mRNA疫苗: https://pubmed.ncbi.nlm.nih.gov/34433919/

[31]CAR-T: https://en.wikipedia.org/wiki/CAR_T_cell

[32]13: https://darioamodei.com/machines-of-loving-grace#fn:13

[33]自80年代以来就已知: https://link.springer.com/article/10.1134/S1062360422040075

[34]这篇关于mRNA疫苗发明者的简介: https://www.vox.com/future-perfect/2023/10/5/23903292/katalin-kariko-drew-weissman-nobel-prize-medicine-mrna-vaccines-covid-coronavirus

[35]AlphaFold: https://alphafold.ebi.ac.uk/

[36]AlphaProteo: https://deepmind.google/discover/blog/alphaproteo-generates-novel-proteins-for-biology-and-health-research/

[37]14: https://darioamodei.com/machines-of-loving-grace#fn:14

[38]15: https://darioamodei.com/machines-of-loving-grace#fn:15

[39]可以说应该在~2个月内获得批准: https://www.1daysooner.org/

[40]人工智能支持的生物科学: https://www.sciencedirect.com/science/article/pii/S135964462400134X

[41]16: https://darioamodei.com/machines-of-loving-grace#fn:16

[42]17: https://darioamodei.com/machines-of-loving-grace#fn:17

[43]任何疾病的疫苗: https://www.nih.gov/news-events/news-releases/clinical-trial-mrna-universal-influenza-vaccine-candidate-begins

[44]每年下降约2%: https://www.bmj.com/content/384/bmj-2023-076962

[45]CAR-T疗法: https://www.statnews.com/2022/02/02/cart-cancer-therapy-leukemia-treatment/

[46]预防: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC10080017/

[47]精细适应: https://www.sciencedirect.com/science/article/pii/S0305737220300578

[48]胚胎筛查: https://www.nature.com/articles/s41591-022-01735-0

[49]非常复杂: https://www.nature.com/articles/s41380-021-01249-0

[50]GLP-1激动剂: https://www.google.com/url?q=https://onlinelibrary.wiley.com/doi/full/10.1002/edm2.462&sa=D&source=docs&ust=1726506125482285&usg=AOvVaw1t12gKr6YA4RNeWMnhLtU6

[51]体重管理: https://www.astralcodexten.com/p/why-does-ozempic-cure-all-diseases

[52]18: https://darioamodei.com/machines-of-loving-grace#fn:18

[53]预期寿命在20世纪几乎增加了2倍: https://ourworldindata.org/life-expectancy

[54]19: https://darioamodei.com/machines-of-loving-grace#fn:18

[55]存在可以将大鼠最大寿命增加25-50%的药物: https://www.nature.com/articles/s41586-024-07701-9

[56]不受古德哈特定律影响的: https://en.wikipedia.org/wiki/Goodhart%27s_law

[57]天花: https://ourworldindata.org/smallpox

[58]如何保持社会保障: https://en.wikipedia.org/wiki/Social_Security_debate_in_the_United_States

[59]20: https://darioamodei.com/machines-of-loving-grace#fn:20

[60]21: https://darioamodei.com/machines-of-loving-grace#fn:21

[61]CLARITY: https://en.wikipedia.org/wiki/CLARITY

[62]1950年代: https://en.wikipedia.org/wiki/Hodgkin%E2%80%93Huxley_model

[63]可解释性: https://www.anthropic.com/research/mapping-mind-language-model

[64]22: https://darioamodei.com/machines-of-loving-grace#fn:22

[65]一种计算机制: https://distill.pub/2020/circuits/frequency-edges/

[66]老鼠的大脑中被重新发现: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC10055119/

[67]扩展假说: https://arxiv.org/abs/2001.08361

[68]苦涩教训: https://www.cs.utexas.edu/~eunsol/courses/data/bitter_lesson.pdf

[69]帮助我们发明: https://www.science.org/doi/10.1126/sciadv.adn1524

[70]也被提出: https://arxiv.org/abs/1306.5709

[71]广泛的行为干预手段: https://onlinelibrary.wiley.com/doi/full/10.1002/wps.21203

[72]部分遗传性: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC9840515/

[73]正在逐步取得进展: https://onlinelibrary.wiley.com/doi/full/10.1002/wps.21034

[74]正面特质: https://en.wikipedia.org/wiki/Antagonistic_pleiotropy_hypothesis

[75]相关性可能被夸大了: https://academic.oup.com/humupd/advance-article/doi/10.1093/humupd/dmae012/7684172

[76]可能的: https://www.fhi.ox.ac.uk/brain-emulation-roadmap-report.pdf

[77]人均GDP: https://data.worldbank.org/indicator/NY.GDP.PCAP.CD

[78]社会主义计算问题: https://en.wikipedia.org/wiki/Socialist_calculation_debate#:~:text=The%20socialist%20calculation%20debate%2C%20sometimes，of%20the%20means%20of%20production.

[79]23: https://darioamodei.com/machines-of-loving-grace#fn:23

[80]普遍的腐败: https://economics.mit.edu/sites/default/files/publications/120224%20Corruption%20Review%20Final.pdf

[81]加剧了贫困: https://pdf.usaid.gov/pdf_docs/pnacw645.pdf

[82]完全消灭: https://www.who.int/news-room/spotlight/history-of-vaccination/history-of-smallpox-vaccination

[83]数学上复杂的流行病学模型: https://en.wikipedia.org/wiki/Institute_for_Disease_Modeling

[84]GiveWell: https://www.givewell.org/

[85]目前正在开发中: https://en.wikipedia.org/wiki/Malaria_vaccine

[86]阻止它们携带疾病的能力: https://www.gavi.org/vaccineswork/south-american-cities-release-mosquitoes-stem-disease

[87]基因驱动: https://www.nature.com/articles/s41576-021-00386-0

[88]几个东亚经济体: https://en.wikipedia.org/wiki/Four_Asian_Tigers

[89]24: https://darioamodei.com/machines-of-loving-grace#fn:24

[90]作物产量: https://ourworldindata.org/crop-yields

[91]目前正在提高: https://www.science.org/content/article/new-genetic-tricks-boosting-crop-yield-take-clues-ancient-farmers

[92]绿色革命: https://en.wikipedia.org/wiki/Green_Revolution

[93]碳清除: https://www.nature.com/articles/s41558-023-01604-9

[94]实验室培育肉: https://www.annualreviews.org/content/journals/10.1146/annurev-animal-021022-055132

[95]25: https://darioamodei.com/machines-of-loving-grace#fn:25

[96]破坏民主: https://benmgarfinkel.blog/2021/02/26/is-democracy-a-fad/

[97]如这里所示: https://en.wikipedia.org/wiki/The_Better_Angels_of_Our_Nature

[98]最近的: https://ourworldindata.org/grapher/countries-democracies-autocracies-row

[99]以为: https://en.wikipedia.org/wiki/The_Great_Illusion

[100]历史的终结: https://en.wikipedia.org/wiki/The_End_of_History_and_the_Last_Man

[101]正走向第二次冷战: https://www.noahpinion.blog/p/why-the-us-should-fight-cold-war

[102]使威权主义受益: https://www.noahpinion.blog/p/the-super-scary-theory-of-the-21st-a3a

[103]26: https://darioamodei.com/machines-of-loving-grace#fn:26

[104]阻止或延迟: https://www.csis.org/analysis/updated-october-7-semiconductor-export-controls

[105]和平原子: https://en.wikipedia.org/wiki/Atoms_for_Peace

[106]负相关: https://link.springer.com/article/10.1007/s11482-022-10070-y

[107]联结: https://www.cambridge.org/core/journals/perspectives-on-politics/article/abs/who-is-open-to-authoritarian-governance-within-western-democracies/0ADCD5FFE5B7E9267E8283C7561FB6BE

[108]歧视的原因: https://www.vox.com/technology/23738987/racism-ai-automated-bias-discrimination-algorithm

[109]残忍和异常的惩罚: https://en.wikipedia.org/wiki/Cruel_and_unusual_punishment

[110]完全没有社会救赎价值: https://en.wikipedia.org/wiki/Roth_v._United_States

[111]智能合约: https://en.wikipedia.org/wiki/Smart_contract

[112]高级的可解释性技术: https://transformer-circuits.pub/

[113]计算民主项目: https://compdemocracy.org/

[114]合作: https://www.anthropic.com/news/collective-constitutional-ai-aligning-a-language-model-with-public-input

[115]不满: https://darioamodei.com/machines-of-loving-grace#fn:27

[116]28: https://darioamodei.com/machines-of-loving-grace#fn:28

[117]人类保持相关性: https://www.noahpinion.blog/p/plentiful-high-paying-jobs-in-the

[118]使人类之间的竞争更公平: https://www.nber.org/papers/w31161

[119]会扩展以继续雇佣几乎所有人: https://en.wikipedia.org/wiki/Lump_of_labour_fallacy

[120]Whuffie 积分: https://en.wikipedia.org/wiki/Down_and_Out_in_the_Magic_Kingdom

[121]https://allpoetry.com/All-Watched-Over-By-Machines-Of-Loving-Grace: https://allpoetry.com/All-Watched-Over-By-Machines-Of-Loving-Grace

[122] https://darioamodei.com/machines-of-loving-grace#fnref:1

[123] https://darioamodei.com/machines-of-loving-grace#fnref:2

[124】https://darioamodei.com/machines-of-loving-grace#fnref:3

[125]https://darioamodei.com/machines-of-loving-grace#fnref:4

[126]https://darioamodei.com/machines-of-loving-grace#fnref:5

[127]Tyler Cowen: https://www.bloomberg.com/opinion/articles/2023-08-16/ai-won-t-supercharge-the-us-economy

[128]Matt Yglesias: https://www.slowboring.com/p/im-skeptical-that-powerful-ai-will

[129]https://darioamodei.com/machines-of-loving-grace#fnref:6

[130]无形投资: https://www.aeaweb.org/articles?id=10.1257/jep.14.4.23

[131]作为补充: https://www.aeaweb.org/articles?id=10.1257/mac.20180386

[132]https://darioamodei.com/machines-of-loving-grace#fnref:7

[133]https://darioamodei.com/machines-of-loving-grace#fnref:8

[134]https://darioamodei.com/machines-of-loving-grace#fnref:9

[135]https://darioamodei.com/machines-of-loving-grace#fnref:10

[136]https://darioamodei.com/machines-of-loving-grace#fnref:11

[137]Sydney Brenner: https://en.wikipedia.org/wiki/Sydney_Brenner

[138]https://darioamodei.com/machines-of-loving-grace#fnref:12

[139]https://darioamodei.com/machines-of-loving-grace#fnref:13

[140]https://darioamodei.com/machines-of-loving-grace#fnref:14

[141]https://darioamodei.com/machines-of-loving-grace#fnref:15

[142]https://darioamodei.com/machines-of-loving-grace#fnref:16

[143]本质上将医院作为进化实验室: https://www.nejm.org/doi/full/10.1056/NEJMoa1914433

[144]https://darioamodei.com/machines-of-loving-grace#fnref:17

[145]https://darioamodei.com/machines-of-loving-grace#fnref:18

[146]https://darioamodei.com/machines-of-loving-grace#fnref:19

[147]https://darioamodei.com/machines-of-loving-grace#fnref:20

[148]https://darioamodei.com/machines-of-loving-grace#fnref:21

[149]https://darioamodei.com/machines-of-loving-grace#fnref:22

[150]被不可约的复杂性所困扰: https://en.wikipedia.org/wiki/Friedrich_Hayek

[151]哈耶克的见解: https://www.econlib.org/library/Essays/hykKnw.html

[152]https://darioamodei.com/machines-of-loving-grace#fnref:23

[153]https://darioamodei.com/machines-of-loving-grace#fnref:24

[154]https://darioamodei.com/machines-of-loving-grace#fnref:25

[155] https://darioamodei.com/machines-of-loving-grace#fnref:26

[156]https://darioamodei.com/machines-of-loving-grace#fnref:27

[157]https://darioamodei.com/machines-of-loving-grace#fnref:28

[158]https://darioamodei.com/machines-of-loving-grace#fnref:29