本文来自:财联社,作者:朱凌,原文标题:《加速派又赢了?OpenAI又一保守派老将辞职,AGI准备工作组随之解散》,题图来自:AI生成
刚刚,OpenAI又一位保守派老将迈尔斯·布伦戴奇(Miles Brundage)宣布辞职。他所负责的通用人工智能(AGI)准备工作组也同时被解散,并入其他团队。
布伦戴奇在OpenAI工作了六年多,是OpenAI长期政策研究员、AGI准备工作高级顾问,也是OpenAI所剩无几坚持遏制人工智能风险的老员工之一。
一、世界还远未准备好迎接AGI
在OpenAI章程中,AGI被定义为“在大多数经济价值较高的工作中,能够胜过人类的高度自主系统”。确保AGI造福全人类是OpenAI的使命。而布伦戴奇负责的AGI准备工作组的任务大致是为安全、可靠、有益地开发、部署和管理能力日益增强的人工智能系统做好准备。
然而,布伦戴奇在北京时间今日凌晨发布的离职声明中直言不讳,无论是OpenAI还是其他任何前沿实验室,都没有为实现AGI做好准备,这个世界还远未准备好迎接强大的AGI。
在布伦戴奇看来,现有的差距仍然巨大,以至于他计划在职业生涯的剩余时间里,都致力于人工智能政策方面的工作。
布伦戴奇计划加入一个非营利组织,以便更自由地发表文章,更独立地从事人工智能政策研究。他提到,虽然OpenAI愿意以各种方式支持这项工作,但他在公司内部感受到的限制越来越多。特别是发布文章审查方面的限制变得太多了。
此前,OpenAI首席执行官山姆·奥尔特曼(Sam Altman)曾试图将海伦·托纳(Helen Toner,现任美国乔治城大学安全与新兴技术中心战略主任)从OpenAI非营利组织董事会解雇,原因仅仅是她与人合著的一篇学术论文对OpenAI的安全承诺提出了过多批评。
二、一个时代的终结
布伦戴奇的辞职,意味着OpenAI内部关注人工智能安全和治理的声音正在消亡,OpenAI已不再是过去我们熟知的那个OpenAI。
剑桥大学潜在风险研究中心研究员海顿·贝尔菲尔德(Haydn Belfield)称布伦戴奇的辞职为“一个时代的终结”。
事实上,2019年OpenAI首次成立盈利部门时,布伦戴奇等老员工就对非营利属性的改变表示过担忧,但他们最终接受了这一转变。然而,随着时间的推移,情况发生了显著变化。特别是在2023年11月,奥尔特曼被短暂解雇的事件之后,员工们对OpenAI的文化和领导层产生了质疑。
尽管奥尔特曼被复职,但这一事件只是OpenAI内部动荡的开始。自那以后,OpenAI员工人数大幅增加,但同时也失去了大量坚持遏制AI风险的员工。据美国《财富》杂志报道,在过去几个月中,有一半以上关注AGI安全的员工离开了OpenAI。
值得注意的是,OpenAI前超级对齐团队的负责人伊利亚·苏茨克沃尔(Ilya Sutskever)和扬·莱克(Jan Leike)在离职时也公开批评了OpenAI的安全文化。莱克甚至表示,在过去几年里,OpenAI的安全文化已让位于光鲜亮丽的产品。
此外,布伦戴奇表达了对整个行业在AGI安全问题上的担忧。他指出,尽管近年来科技进步很快,但在安全问题上偷工减料、缺乏监管可能会导致严重的后果。他呼吁国会大力资助美国人工智能安全研究所。
布伦戴奇还认为,应该把安全地实现AGI视为全球性的挑战,而非国家安全问题。他提倡通过国际合作,来解决未来AGI非常棘手的安全问题。
本文来自:财联社,作者:朱凌