翁荔的技术博客深入、细致,具有前瞻性,被很多AI研究者视为重要的参考资料。如今,她离开了OpenAI,开启新的征程。而且她表示,之后可能有更多时间频繁更新博客。本文来自微信公众号:机器之心 (ID:almosthuman2014),作者:Panda、陈陈,题图来自:AI生成
翁荔的技术博客深入、细致,具有前瞻性,被很多AI研究者视为重要的参考资料。如今,她离开了OpenAI,开启新的征程。而且她表示,之后可能有更多时间频繁更新博客。本文来自微信公众号:机器之心 (ID:almosthuman2014),作者:Panda、陈陈,题图来自:AI生成
自从Sam Altman重新执掌OpenAI以来,该公司就陷入了持续不断的高管离职潮中。虽然近段时间有些外部新高管加入,但很显然这个离职潮仍未结束。
就在刚刚,OpenAI安全系统团队负责人翁荔(Lilian Weng)在X上宣布将离开已经工作了近7年的OpenAI。同时,她还公开分享了发给团队的离职信,不过其中并未明确说明她接下来的职业计划。
推文发布后,OpenAI内外的一些知名人士为其送上了祝福,包括著名研究科学家Noam Brown、OpenAI首席信息安全官Dane Stuckey、思维链提出者Jason Wei等等。
当然,许多网友也纷纷送上了自己的祝福,毕竟她不仅在OpenAI推动了安全相关的研究和实践,偶尔更新的博客Lil’Log也实实在在地帮助了很多人。
Lilian Weng博客地址:https://lilianweng.github.io/
以下是她与团队分享的离职信的中文版:
亲爱的朋友们,
我作出了离开OpenAl的艰难决定。11月15日将是我在办公室的最后一天。
OpenAl是我成长为科学家和团队领导者的地方,我将永远珍惜与我一路共事和结交的朋友在一起的时光。OpenAl团队一直是我的知己、老师,也是我身份认同的一部分。
我还记得2017年OpenAl的使命让我多么着迷,一群人梦想着一个不可能实现的科幻未来。在这里,我一开始研究的是全栈机器人难题——从深度强化学习算法到感知再到固件——目标是教会单台机械手如何解决魔方问题。整个团队花了两年时间,但我们最终做到了。
当OpenAl进入GPT范式,我们开始探索将最佳AI模型部署到现实世界的方法时,我组建了第一个应用研究(Applied Research)团队,推出了微调APl、嵌入APl和审核端点的初始版本,为应用安全工作奠定了基础,并为许多早期API客户提供了新的解决方案。
GPT-4发布后,我被要求接受一项新挑战,重新考虑OpenAl安全系统的愿景,并将工作集中在一个拥有完整安全堆栈的团队之下。那是我曾做过的最困难、压力最大又最激动人心的事情之一。现在,安全系统(Satety Systems)团队有超过80位出色的科学家、工程师、产品经理、政策专家,而且我为我们作为一个团队所取得的一切成就感到非常自豪。我们一起成为了每次发布的基石——从GPT-4及其视觉和turbo版本到GPT Store、语音功能和o1。我们在训练这些模型使其既强大又负责任方面所做的工作为行业树立了新的标准。我为我们在o1-preview模型方面取得的最新成就感到特别自豪,它是我们迄今为止最安全的模型,在保持其实用性的同时,表现出对越狱攻击的卓越抵抗力。
我们一起取得了令人瞩目的成就:
我们训练模型使其明白,通过遵循一套定义明确的模型安全行为政策,可以让其很好地拒绝敏感或不安全的请求,包括何时拒绝或不拒绝,从而在安全性和实用性之间取得良好的平衡。
在每次模型发布时,我们都提高了其对抗稳健性,包括防御越狱攻击、指令层次结构以及通过推理大幅提升稳健性。我们在透明度方面的承诺都已体现在我们详细的模型系统卡中。
我们开发了业界领先的具有多模态能力的审核模型,并免费分享给了公众。我们目前在更通用的监控框架和增强的安全推理能力方面的工作将为更多的安全工作流提供支持。
我们为安全数据记录、指标、仪表板、主动学习管道、分类器部署、推理时间过滤和全新的快速响应系统建立了工程开发基础。
回顾我们所取得的成就,我为安全系统团队的每个人都感到骄傲,我非常有信心团队将继续蓬勃发展。我爱你们❤️。
现在,在OpenAl工作了7年后,我准备重新开始并探索一些新东西。OpenAl正处于火箭般的增长轨迹上,我只希望这里的每个人都一切顺利。
附言:我的博客还在,会继续下去。我可能很快就会有时间更频繁地更新它,也可能会有更多时间来编程;)
爱你们的,
Lilian
Lilian Weng介绍
Lilian Weng是OpenAI华人科学家,她2018年加入OpenAI,参与了GPT-4项目的预训练、强化学习&对齐、模型安全等方面的工作。她本科毕业于北大,曾前往香港大学进行短期交流,博士毕业于印第安纳大学伯明顿分校。
领英资料显示,Lilian Weng在OpenAI已经工作了近7年时间,担任安全研究副总裁一职。
2021年-2023年工作期间,Lilian Weng建立并领导了应用人工智能研究团队,包括产品研究、合作伙伴研究和应用安全,从而使得OpenAI的API更强大、更实用、更安全。
之前,她还是OpenAI机器人团队的技术主管,专注于训练关于机器人任务的算法,如教机械手如何解决魔方、旋转方块等。
在加入OpenAI之前,她还在Facebook、Dropbox从事软件工程和数据科学方面的工作。
Google Scholar显示,Lilian Weng论文引用量超过13000多次。
闲暇时间,Lilian Weng还写了一些关于AI的博客文章,她的博客深入、细致,具有前瞻性,被很多AI研究者视为重要的参考资料。
支持一下 修改