OpenAI新模型核心贡献者有哪些?我们看到了大量华人的名字
2024-09-14 14:11

OpenAI新模型核心贡献者有哪些?我们看到了大量华人的名字

本文来自微信公众号:机器之心,作者:机器之心,题图来自:AI生成

文章摘要
OpenAI o1模型发布,介绍了核心贡献者,许多华人科研人员参与其中。

• 🌟 OpenAI发布o1模型,具备强大推理能力

• 👨‍🔬 华人成为核心贡献者,包括Jason Wei和Lilian Weng

• 🛡️ 模型在能力和安全性上都有显著提升

这篇文章系统梳理了 OpenAI o1模型背后的核心人才。


9月13日凌晨,OpenAI 震撼发布 o1 大模型,酝酿已久的“草莓”终于面世。


新模型能够进行复杂推理,具备真正的通用推理能力,可解决比以往的科学、代码和数学模型所能处理的更难的问题。它在一系列高难基准测试中展现出了超强实力,相比 GPT-4o 有巨大提升,甚至能在博士级别的科学问答环节上超越人类专家(详情请参见《刚刚,OpenAI 震撼发布 o1 大模型!强化学习突破 LLM 推理极限》


虽然 o1 很强,但有趣的是,它并不会尝试去推理和解答“黎曼猜想”这类人类自己还没解决的难题,以至于 Andrej Karpathy 忍不住吐槽说它很懒。




对于 o1 模型背后的那些贡献者来说,这一天可以说非同寻常。在模型正式发布后,他们终于可以公开谈论这一成果。每个人脸上都洋溢着轻松的笑容。



OpenAI o1 幕后团队在模型发布后接受了简单的采访,解释了与 o1 相关的推理的含义、研发过程中的“Aha moment”、用强化学习训练模型来生成和磨练它自己的思维链等内容。


其中,思维链提出者 Jason Wei 在第一时间就分享了自己提炼出的经验和感悟。




Jason Wei 提到,OpenAI o1 虽然很强,但能够激发它潜力的提示却没有那么好写。因此,针对该模型的提示工程还是一个待研究的问题。


OpenAI API 文档中提及的提示建议。示例参见:https://platform.openai.com/docs/guides/reasoning/advice-on-prompting


此外,参与该模型安全相关工作的 Lilian Weng(OpenAI 安全系统团队负责人)也发表了推文,表示 o1 的安全性和稳健性也得到了显著提升。这表明,“能力和安全并不是两个相互冲突的目标”。



在过去的几年,Lilian Weng 一直以博客的形式进行高质量的技术分享,几乎每篇博客都是精品,被很多 AI 研究者视为重要的参考资料。所以,在她的推文评论区,大家已经在催更了。如果后续有更新,机器之心将第一时间跟踪报道。




OpenAI o1 是一个庞大的项目,背后藏着一支强大的研究团队,Jason Wei、Lilian Weng 都是其中之一。在一个单独的博客中,OpenAI 列出了该项目的所有贡献者。有意思的是,已经离职的前首席科学家 Ilya 也出现在了核心贡献者名单中。所以,这个 OpenAI o1 就是 Ilya 所看到的吗?还是说,他看到了更了不得的东西?  



在这篇文章中,机器之心对 o1 项目的贡献者名单进行了梳理。


一、推理研究核心贡献者


Ahmed El-Kishky



Ahmed El-Kishky 是 OpenAI 的一名 AI 研究员,他于 2024 年 2 月加入该公司,至今才 8 个月的时间。在此之前,Ahmed 在 X(原名推特)、Meta 等公司任职。他本科毕业于塔尔萨大学、博士毕业于伊利诺伊大学厄巴纳-香槟分校,导师是韩家炜教授。


Ahmed El-Kishky 主要研究方向包括大规模机器学习,自然语言处理,图机器学习和推荐系统。


Daniel Selsam



Daniel Selsam 于 2022 年加入 OpenAI,现在是该公司的一名研究员,曾任职于微软,还在 DeepMind(现在为谷歌 DeepMind)做过实习生。Daniel Selsam 博士毕业于斯坦福大学,他还是 GPT-4 的贡献者。


Francis Song



Francis Song 在 2022 年 6 月加入 OpenAI,至今已经 2 年多了,现在是一名技术人员。在加入 OpenAI 之前,Francis Song 是 DeepMind 的一名研究科学家。此前,他博士毕业于耶鲁大学。


Giambattista Parascandolo



Giambattista Parascandolo 现在是 OpenAI 的一名 AI 研究科学家,目前在 OpenAI 领导一个团队,专注于解决模型推理问题。他在 2021 年加入 OpenAI,至今已经三年多了。此前,他任职于 DeepMind 等机构。博士毕业于苏黎世联邦理工学院。Giambattista Parascandolo 还参与过 GPT-4 的研究。


Hongyu Ren



Hongyu Ren 在去年 7 月加入,现在是 OpenAI 的一名研究科学家,他还是 GPT-4o 、GPT-4o mini 的核心贡献者,并致力于 GPT-Next 的研究。Hongyu Ren 本科毕业于北京大学、博士毕业于斯坦福大学。此前,他在苹果、谷歌、英伟达、微软等工作过。


Hunter Lightman



Hunter Lightman 现在是 OpenAI 的一名研究工程师,于 2022 年加入。他本科毕业于宾夕法尼亚大学。


Hyung Won Chung



Hyung Won Chung 现在是 OpenAI 的一名研究科学家。研究重点是大型语言模型。在那之前,他在谷歌大脑工作,并在 MIT 攻读博士学位。


他曾参与过一些重要项目的研究工作,比如 5400 亿参数的大型语言模型 PaLM 和 1760 亿参数的开放式多语言模型 BLOOM。机器之心也曾介绍过他为一作的论文:《Scaling Instruction-Finetuned Language Models》。


Ilge Akkaya



Ilge Akkaya 在 2019 年加入,现在是 OpenAI 一名工程师,专注于程序合成研究。Akkaya 博士毕业于 UC Berkeley。还参与过 GPT-4 的研究。


Ilya Sutskever



虽然 Ilya 在今年 5 月离开了 OpenAI,但还是出现在了 o1 的核心贡献者名单中。几天前,Ilya 新成立的公司 SSI(安全超级智能)刚完成 10 亿美元的融资,估值达到 50 亿美元。关于 Ilya 与 OpenAI 的故事,大家可以参考这篇文章《突发!Ilya Sutskever 成立新公司 SSI,安全超级智能是唯一目标与产品》,了解更多内容。


Jason Wei



Jason Wei 现在是 OpenAI 一名研究员,于 2023 年 2 月加入。此前,他从 2020 年到 2023 年担任 Google Brain 的研究科学家。Jason Wei 是思维链的提出者,并和 Yi Tay、Jeff Dean 等人合著了关于大模型涌现能力的论文,还参与过 GPT-4 研究。


Jonathan Gordon



Jonathan Gordon 于 2020 年加入 OpenAI,现在是 OpenAI 的一名研究科学家和团队负责人,主要研究大型语言模型,还参与过 GPT-4 的研究。此前,Gordon 博士毕业于剑桥大学。


Karl Cobbe



Karl Cobbe 早在 2018 年就加入 OpenAI,至今已经 6 年多了。他本科毕业于斯坦福大学,主要研究方向是人工智能和强化学习。曾参与过论文《Let’s Verify Step by Step》,这篇论文作者包括 Ilya Sutskever、John Schulman、Jan Leike 等知名大佬。


Kevin Yu



Kevin Yu 在 2022 年加入 OpenAI,现在为 OpenAI 一名研究员,他博士毕业于加州大学伯克利分校。


Lukas Kondraciuk



Lukas Kondraciuk 于 2022 年加入 OpenAI,现在是一名研究员。此前,他还任职于谷歌、英伟达。本科和硕士均毕业于华沙大学。还参与过 GPT-4o、GPT-4 的研究。


Max Schwarzer



Max Schwarzer 于 2023 年 11 月加盟 OpenAI, 致力于提升机器学习系统的能力。他毕业于蒙特利尔大学,曾是约书亚・本希奥(Yoshua Bengio)建立的 Mila 实验室的博士生,专注于强化学习和自监督学习领域的研究。


Mostafa Rohaninejad



Mostafa Rohaninejad 在 2023 年 10 月加入了 OpenAI,成为 AI 科学家(AI Scientist)团队的一员。他是元学习领域知名的 SNAIL 架构的二作,详情可以参见机器之心此前的报道:《入门 | 从零开始,了解元学习》。他在加州大学伯克利分校获得了学士和硕士学位。加入 OpenAI 之前,他曾就职于工业机器人公司 Covariant,BAIR 实验室。同时,他还是一名举重运动员。


Noam Brown



Noam Brown 在 2023 年 6 月入职了 OpenAI ,现在是一名专注于多步推理、自我博弈和多智能体 AI 的研究员。他在今年五月刊发的新论文《The Update-Equivalence Framework for Decision-Time Planning》提出了一种新搜索方法,解决了模型长路径搜索的问题,有人猜测 OpenAI o1 采用了类似方法。


此前,他是 Meta FAIR 的一员,主导了曾火遍一时的 CICERO 项目。这是第一个在策略游戏《Diplomacy》中达到人类水平表现的 AI,可以参阅机器之心此前的报道:争取盟友、洞察人心,最新的 Meta 智能体是个谈判高手。


随后,他开发了第一个在无限注德州扑克中击败顶尖人类选手的 AI:Libratus 和 Pluribus。Libratus 获得了马文・明斯基奖,以表彰其杰出成就。Pluribus 登上了《Science》杂志封面,并入围了 2019 年《Science》杂志年度突破奖。机器之心也曾详细报道过 LibratusPluribus


加入工业界之前,他在卡内基梅隆大学获得了计算机科学博士学位。更早之前,他就任于联邦储备委员会的国际金融市场部门,专注于金融市场中的算法交易研究。


在推特上,有人怀疑Noam Brown是新模型的领导者,但他澄清说自己不是,并表明该项目是团队协作的产物。



Shengjia Zhao



Shengjia Zhao 于 2022 年 6 月加入,现在是 OpenAI 的一名研究科学家,主攻 ChatGPT。他是 ChatGPT、GPT-4、GPT-4o mini 的作者之一 。他的主要研究方向是大语言模型的训练和校准。此前,他本科毕业于清华大学,博士毕业于斯坦福大学。


Trapit Bansal



2022 年,Trapit Bansal 加入 OpenAI 成为了一名研究员,直接对接 Ilya Sutskever。他是马萨诸塞大学阿默斯特分校的计算机科学博士,主要研究机器学习和自然语言处理。他关于元学习(meta-learning)的研究获得了 2018 年 ICLR 的最佳论文奖,他的多篇论文也曾入选 EMNLP、ACL Oral。


Vineet Kosaraju



Vineet Kosaraju 在 2020 年就已加入 OpenAI,是数学生成团队(Mathgen)的一员。他在斯坦福大学完成了计算机科学的学士和硕士学位,主要研究计算机视觉与自动驾驶技术。他是现在流行的大模型能力测试集 GSM8K 的作者,是大模型可以搜索网页并产出回答的 WebGPT 技术的开发者,也是大名鼎鼎的《Let’s Verify Step by Step》论文二作。


Wenda Zhou



Wenda Zhou 于 2023 年 7 月入职 OpenAI,在此之前,他曾就职于纽约大学等机构。他本科毕业于剑桥,博士毕业于哥伦比亚大学,曾在 NeurIPS、ICLR 等顶会发表多篇论文。


他的研究兴趣集中在高维统计学、压缩感知和深度学习领域。最近,他在探索机器学习在不同情境下的应用,比如数据压缩和化学。


以上介绍的是基础贡献者,完整的“推理研究”部分的名单如下:



二、推理技术安全贡献者


在“推理技术安全”版块,OpenAI 列出了与新模型相关的贡献者。除了 Lilian Weng,里面还有很多其他华人科学家的身影。其中担任领导职位(o1 Safety Leads 和 Safety Leadership)的包括:


Jieqi Yu


Jieqi Yu 是 OpenAI 的工程经理,2023 年 8 月加入 OpenAI。



她本科毕业于复旦大学,期间曾在香港科技大学短暂交流,2012 年在美国普林斯顿大学拿到电气工程博士学位。



在加入 OpenAI 之前,她在 Facebook 工作了 12 年(包含实习)



Kai Xiao


Kai Xiao 是 OpenAI 的机器学习工程师,在麻省理工学院获得学士学位,随后获得计算机科学博士学位。



他在个人资料中写道,“我的博士研究主要集中在稳健可靠的机器学习方面。我有兴趣了解当前机器学习实践造成的 bias,包括我们对模型架构、训练算法和数据集的选择。此外,我还想开发一些方法,让模型更稳健地应对这些不必要的 bias。我希望,通过识别和修复这些 bias,机器学习可以为现实世界的部署做好更充分的准备。”



过去的几年,他曾在微软研究院、Deepmind、Citadel、DE Shaw、A9 和 Jane Street 实习,并于 2022 年 9 月加入 OpenAI。



Lilian Weng


Lilian Weng,中文名翁丽莲,是 OpenAI 安全系统团队负责人。



她本科毕业于北京大学信息系统与计算机科学专业,曾前往香港大学进行短期交流,之后在印第安纳大学布鲁明顿分校(Indiana University Bloomington)获得博士学位。



她 2018 年加入 OpenAI,参与了 GPT-4 项目的预训练、强化学习&对齐、模型安全等方面的工作。



正如前面所说,她的博客深入、细致,具有前瞻性,被很多 AI 研究者视为重要的参考资料。机器之心报道过的博客包括:








“安全”部分的完整名单如下:



参考链接:https://openai.com/openai-o1-contributions/


本文来自微信公众号:机器之心,作者:机器之心

本内容为作者独立观点,不代表虎嗅立场。未经允许不得转载,授权事宜请联系hezuo@huxiu.com
如对本稿件有异议或投诉,请联系tougao@huxiu.com
正在改变与想要改变世界的人,都在 虎嗅APP
赞赏
关闭赞赏 开启赞赏

支持一下   修改

确定