OpenAI的最新模型o3已接近人类智慧，应当兴奋还是颤抖？

最近，OpenAI 发布了 o3 模型，此举颠覆了AI 开发已陷入停滞的说法。o3 实现了许多人认为不可能实现的目标：在真正的智能测试ARC-AGI中获得了 87.5% 的分数，而人类表现的基准为 85%（ARC-AGI 基准专门用于测试通用智能的本质：识别新情况下的模式并将知识应用于陌生挑战的能力）。

这不仅仅是一个不断增长的 AI 里程碑。o3 却从根本上打破了在解决某些数学问题（包括人类认为非常简单的问题）等任务上的障碍，展示了即时合成新程序和新方法的能力——这是迈向通用人工智能 (AGI) 的关键垫脚石。

这一突破的影响深远且紧迫。我们见证的不仅仅是人工智能能力的根本性转变。问题不再是我们能否实现 AGI，而是何时实现。更重要的是，我们将如何应对它的到来，这一现实要求我们不得不立即重新调整政策的讨论，并将监管精力集中在确保其发展造福全人类上。

一、o3 的突破：更强的推理能力

在 OpenAI 的 o3 突破之前，人们普遍预测人工智能的发展将放缓。

• 一年多前，《哈佛商业评论》提出疑问：“生成式人工智能是否已达到顶峰？”

• 2024年夏天，《Fast Company》宣布：“第一波人工智能创新已经结束。”

• 上个月，Axios 的一篇文章提出：“人工智能‘越大越好’的信念开始减弱。”

o3模型开创性能力背后，是一种新颖的强化学习方法，即o3在响应用户的提问之前，会花费更长时间地“思考”其反应。对推理的额外强调，创建了一个更有条理的模型。当 o3 处理提问时，它不仅会考虑相关提示，还会在得出响应时详细说明对提问的分析。这种策略可以提高准确性并减少幻觉的出现。

此外，o3展示出更强的处理新任务的能力，使得该模型在复杂领域更具智能。实证改进是显著的：早在 2020 年，ChatGPT-3 在 ARC 基准测试中的得分为 0%；ChatGPT-4o 攀升至 5%；o3 在有限的计算水平下获得了 75.7%，在更高的计算量下获得了 87.5%。 

二、o3的安全围栏：自我监督和校准

OpenAI 还引入了一种被称为“审慎校准”提高模型安全性的新方法，包括“将人类编写且可解释的安全规范文本，并训练他们在回答之前明确推理这些规范。”OpenAI 希望这种新方法将有助于确保 o3 及后续模型更严格地遵守公司的安全规范。

随着各个实验室坚持推出功能更强大的模型，最强大的人工智能系统是否能够保证安全的问题将在未来几个月变得至关重要。

OpenAI 尚未完成对 o3 的安全测试。即使是 OpenAI 本月初发布的上一个模型 o1，也在高风险领域表现出了显著增强的能力，而更先进的 o3 可能会进一步增强这些能力。

同样，前沿实验室 12 月发布的两项研究表明，随着人工智能系统的进步，它们变得更有能力和更愿意从战略上破坏用户的目标。这两项研究都表明，如果前沿系统被赋予既定目标，它们可能会通过关闭或用更新系统的方式抵制这些目标被改变。为避免目标受阻，前沿系统采用的一些策略包括：“模型会从战略上在响应中引入微妙的错误，试图禁用其监督机制，甚至将他们认为是模型权重的内容泄露到外部服务器。”

我们还不知道o3在协助制造生物武器、实施网络攻击、合成化学武器、说服人类或任何其他军民两用能力方面做得有多好。但是，如果o3在这些领域代表着与其他领域一样巨大的进步，我们就有理由感到担忧。

三、不要低估下一波人工智能浪潮：新缩放定律

o3的表现代表了另一个更重要的东西：它展示了OpenAI在其o系列模型中发现的新缩放定律的力量。

以前人工智能的进步主要来自对现有架构的扩展：更大的模型、更多的数据和更多的计算。虽然令人印象深刻，但这种方法已经呈现出“收益递减”的趋势，特别是在需要真正的智能而不是模式匹配的任务上。尽管GPT-4在训练和开发上花费的资源远远大于GPT-3，但在ARC-AGI基准上取得的进展与其耗费的资源相比却并不匹配。

o系列完全改变了这种计算方式。OpenAI 成功实施了一种全新的方法：使用强化学习通过自然语言搜索指导程序合成。简而言之，以前的模型只能遵循他们以前见过的模式，但新模型可以主动搜索并构建新问题的新解决方案。这不仅仅是一个更好的引擎，它是一辆全新的汽车，而o3的性能显示了这辆汽车的强大程度。

更多的突破即将出现。硬件公司正在开发专门的人工智能芯片，这些芯片可以使当今昂贵的计算成本降低几个数量级，速度更快。研究人员正在探索将神经网络与符号推理相结合的混合方法。机器人技术和具身人工智能的进步可以为模型从物理交互中学习提供新方法。这些新方法的每一个都代表着一种潜在的新缩放定律——一种指数级改进的新途径。

这些进步的叠加还带来了额外的加速：硬件突破使得训练大型模型的成本更低，从而使得测试新的架构创新成为可能，这反过来又为构建更好的硬件提供了方法。这种级联效应产生了加速进步的反馈回路。

o3的巨大飞跃是一个重要的提醒——突破性能力可能突然出现。

人工智能发展中最一致的模式之一不是技术性的，而是心理性的。专家和观察家一次又一次低估了进步的速度和突破的规模。这种持续的低估源于心理学家所说的“指数增长偏差”：我们很难理解指数级的进步。人类的直觉是线性的，但技术进步，尤其是人工智能，遵循指数曲线。每一次进步都建立在之前所有进步的基础上，形成加速反馈循环。

o3 再次打破这种预期。就在 o3 发布前一天，在 ARC-AGI 基准上实现接近人类表现的想法似乎还只是科幻小说。

不过，即便是现在，目前对 AGI 时间表的预测可能仍然过于保守。多种缩放定律的融合、硬件的快速改进以及意外突破的可能性都表明，进展可能比任何人预期的都要快得多。问题不在于我们是否将在未来几年看到类似的巨大飞跃，而在于有多少，以及在哪些方向上。

四、AI监管政策也应当寻求突破

o3 的突破对AGI提出了更为实际挑战——自主学习、快速能力扩展和可能失去人类控制，这些情况在某些场景下已经出现，而在其他场景下则非常接近。o3 级人工智能能力的出现要求立即采取监管行动。仅靠人工智能自身及其公司的自我管理是远远不够的。监管行动应从三个关键方面进行：

首先，主动治理框架可以在跨越关键阈值之前而非之后指导人工智能发展。这些框架必须在创新与安全之间取得平衡，同时保持足够的灵活性以适应快速变化的能力。考虑到进步的速度和规模，仅仅对每个新突破做出反应已不再足够。

其次，监管行动必须面临前所未有的全球协调挑战。AGI 的开发在多个国家和公司同时进行，具有不同的优先事项和价值观。如果没有协调一致的监督，我们就会面临安全标准竞争的风险，或者相反，监管分散会阻碍有益的进步。没有一个国家能够有效地管理一项将在全球范围内开发和部署的技术。

第三，立法机关和相关的行政监管机构，必须加快为 AGI 做好经济和社会准备。AGI 级系统的到来将改变劳动力市场，重塑经济权力结构，并挑战基本的社会制度。立法者和监管机构需要制定具体的计划来管理这一转变：新的教育方法，为人工智能驱动的经济做好准备，社会安全网考虑到潜在的工作流失，以及确保人工智能进步的好处得到广泛分享而不是集中在少数强大参与者手中的机制。建立这些框架的时间有限且越来越窄——一旦这些技术得到广泛部署，实施有效治理将变得更加困难。

这些监管努力不需要、也不应该阻碍负责任的人工智能研究和开发。上述每一项行动的背后都是对收集信息、提高透明度和确保社会广泛认同的关注。如果做得正确，这些监管努力实际上可以加速对社会有益的人工智能的创造和传播。

作者简介：

Kevin Frazier ：圣托马斯大学法学院的助理教授，也是德克萨斯大学奥斯汀分校宪法研究项目的高级研究员。

Alan Z. Rozenshtein：明尼苏达大学法学院法学副教授、 Lawfare研究主任兼高级编辑、布鲁金斯学会非常驻高级研究员以及外交关系委员会定期成员。此前，他曾担任美国司法部国家安全司法律与政策办公室的律师顾问以及马里兰州检察官办公室的特别助理美国检察官。

Peter N. Salib ：休斯顿大学法学院的法学助理教授，也是霍比公共事务学院的附属教员。他思考和写作的领域涉及宪法、经济学和人工智能。

本文编译自 Lawfare:https://www.lawfaremedia.org/article/openai's-latest-model-shows-agi-is-inevitable.-now-what

本文来自微信公众号：Internet Law Review，作者：Kevin Frazier、Alan Z. Rozenshtein、Peter N. Salib，编译：《互联网法律评论》