科学探索网
  • 首页
  • 科学研究
  • 科技创新
  • 科普知识
  • 科学家故事
  • 让建站和SEO变得简单

    让不懂建站的用户快速建站,让会建站的提高建站效率!

    科学家故事

    突发!OpenAI七年元老、安全副总裁Lilian Weng官宣去职!北大本科,决定专心写博客

    发布日期:2024-11-09 20:49    点击次数:59

    来源:阛阓资讯

    来源 新智元

    新智元报说念

    剪辑:好困 Aeneas

    【新智元导读】就在刚刚,OpenAI安全研究副总裁Lilian Weng发出长信,官宣去职!OpenAI的安全团队,还在延续分化阐发。Lilian Weng清晰,我方终于未必间写更多博客了。

    就在刚刚,OpenAI再次痛失一员大将。

    安全研究副总裁Lilian Weng正经官宣去职。

    她发出去职长信,追思了2017年时,我方对OpenAI的职责是何等耽溺。

    在GPT-4发布后,她又被赋予了一个全新职责:从头念念考OpenAI安全系统的愿景。

    o1-preview,即是她们团队的最新遵守。

    如今,在OpenAI劳动七年后,她嗅觉‘是时候从头动身了’。

    耐久以来,Lilian Weng的博客篇篇都是宏构,时常发出,都会引得圈内东说念主士的大参谋。

    OpenAI的前同事们,纷纷为她奉上了祝贺。

    Jason Wei清晰,感谢她作念出的孝顺,让o1-preview成为迄今为止最安全的模子。

    OpenAI推理研究员、o1共同作家 Noam Brown祝贺她,鄙人一个冒险中一切到手。

    OpenAI微调研究员Steven Heidel清晰,期待她的下一篇博客著述。

    前OpenAI首位设备者量度团队成员、现任谷歌高等产物司理Logan Kilpatrick则感谢她为鼓吹安全职责所作念的一切。

    而Lilian Weng此次一霎去职,不详亦然长时间三念念此后行的放置。

    比如维基媒体基金会机器学习总监在几天前的一条推文,似乎就默示着她可能要离开。

    去职信全文:我未必间写博客了

    亲爱的一又友们,我作念出了一个极其艰苦的决定,那即是离开OpenAI。11月15日将是我在办公室的终末一天。

    OpenAI是我手脚科学家和教导者成长的处所,我将耐久惊奇与每一位同事过和踏实的同事在一说念的时光。OpenAI团队一直是我的亲信、良师良一又,亦然我个东说念主身份的紧迫构成部分。

    我依然明晰地铭记2017年时,我对OpenAI的职责是何等耽溺。其时,咱们这群东说念主逸想着一个看似不成能、宛如科幻的当年。

    入手,我在这里研究的是全栈机器东说念主挑战——从深度强化学习算法,到感知,再到固件——标的是教诲单只机械手如何解开魔方。总计团队花了整整两年时间,但咱们最终到手了。

    当OpenAI插足GPT范式,咱们入手探索如何将最好AI模子部署到实际天下时,我确立了第一个‘欺骗研究团队’(Applied Research team)。团队推出了微调API、镶嵌API和审核端点的启动版块,为欺骗安全劳动奠定了基础,并为许多早期API客户提供了改变处分有筹办。

    在GPT-4发布后,我被赋予了一项新的职责:从头念念考OpenAI安全系统的愿景,并将劳动集合在一个掌控无缺安全堆栈的团队之下。这是我作念过的最艰巨、最有压力,同期亦然最令东说念主快乐的事情之一。

    如今,安全系统团队领有80多名出色的科学家、工程师、产物司理和战略大家,我为咱们团队取得的一切感到无比自高。咱们共同成为每次要紧发布的基石——从GPT-4偏激视觉和turbo版块,到GPT商店、语音功能和01。

    在熟练这些模子既巨大又负包袱方面的劳动上,咱们建立了新的行业次序。我额外为咱们最新的成就——o1-preview模子感到自高,它是咱们迄今为止最安全的模子,在保捏其实用性的同期,发扬出对‘逃狱’缺陷的额外拦阻力。

    咱们取得的到手,十分令东说念主严防:

    咱们熟练模子如何处理敏锐或不安全的恳求,包括何时拒却或禁受,通过恪守一套明确界说的模子安全活动战略,在安全性和实用性之间取得了考究的均衡。咱们在每次模子发布中都提升了抵挡性鲁棒性,包括退缩逃狱、指示层级,并通过推聪慧力大大提升了模子的鲁棒性。咱们联想了严格而改变的评估设施,与准备框架保捏一致,并为每个前沿模子进行了全面的安全测试和红队测试。咱们对透明度的承诺体当今咱们详备的模子系统卡中。咱们设备了业界开首的具有多模态智力的审核模子,并免费与公众共享。咱们目下在更通用的监控框架和增强的安全推聪慧力方面的劳动将为更多安全劳动经过提供扶助。咱们为安全数据日记记载、筹商、仪容板、主动学习管说念、分类器部署、推理时过滤和新式快速反映系统奠定了工程基础。

    追思咱们取得的成就,我为安全系统团队的每个成员感到无比自高,我战胜团队将延续郁勃发展。我至心肠感谢你们,你们是最棒的!

    当今,在OpenAI劳动了七年之后,我嗅觉是时候从头动身,探索新的边界了。OpenAI正处于火箭般的轨说念上,我由衷祝愿这里的每个东说念主一切到手。

    PS:我的博客仍然活跃,并将延续更新。我可能很快就有更多时间来更不时地更新博客,不详还能抽出更多时间来编码。

    OpenAI再失一位首席安全研究员

    近几个月OpenAI俨然有了一种AI界‘黄埔军校’的滋味。

    首席技巧官Mira Murati、首席研究官Bob McGrew、研究副总裁Barret Zoph、闻名研究员Andrej Karpathy和都集首创东说念主John Schulman纷纷去职。

    其中一些东说念主,包括Leike和Schulman,去职后加入了OpenAI的竞争敌手Anthropic,而其他东说念主则去创办了我方的企业。

    跟着Ilya Sutskever和Jan Leike的离开,以及超等对都团队的结果。在Sam Altman眼中,OpenAI的安全团队似乎越来越不紧迫了。

    当今,尽管AI安全团队限度可不雅(据称有跨越80名量度的研究东说念主员),但网友们反恰是不信赖OpenAI还会专心搞模子安全了……

    10月,资深战略研究员Miles Brundage离开了OpenAI,并告示公司正在结果他曾担任参谋人的通用东说念主工智能准备团队。

    团结天,前OpenAI研究员Suchir Balaji也在专访中浮现,清晰离开OpenAI是因为他合计该公司的技巧对社会带来的危害大于益处。

    目下,OpenAI的公司高管和安全研究东说念主员正在进行嘱咐,以接替Weng的职位。

    而其发言东说念主清晰,‘咱们信赖安全系统团队将延续在确保系统安全可靠方面施展关节作用,为大家数亿用户提供服务。’

    Lilian Weng:北大本科,高被引学者

    Lilian Weng曾是OpenAI安全系统负责东说念主,主要从事机器学习、深度学习等研究 。

    Weng本科毕业于北京大学信息系统与野心计科学专科,曾赶赴香港大学进行短期疏浚,之后在印第安纳大学布鲁明顿(Indiana University Bloomington)分校赢得博士学位。

    博士时间,Weng的研究边界为复杂系统和蕴蓄,柔软外交媒体、外来去戏、东说念主机交互和复杂信息蕴蓄建模。

    大开她的谷歌学术档案,还不错看到Weng仍是发表的对于模因和外交蕴蓄的论文。

    她曾在eBay、Mozilla等公司作念过用户分析方面的实习,之后‘转行’到手,插足Facebook和Dropbox从事软件工程和数据科学方面的劳动。

    2018年起,Weng加入OpenAI担任研究科学家,手脚机器东说念主团队的技巧把握,专注于熟练机器东说念主任务的算法。

    2021年,Weng负责教导欺骗东说念主工智能的研究团队,并在2023年景为了安全团队的负责东说念主。

    本年8月,OpenAI将之前的安全团队负责东说念主Aleksander Madry调任至一个专注于推理基础劳动的团队。而本来Madry教导的安全团队转由Lilian Weng负责。

    随后,Weng将同期管制专注于耐久和短期AI安全的团队,这一组织决策令一些研究东说念主员追思,因为耐久和短期安全的激勉措施可能会相互打破。

    值得一提的是,Weng在个东说念主网站上撰写的博客著述相配受迎接,基本都是万字长文,既有技巧干货又有不雅点输出,是许多业内东说念主士的参考。

    接下来,让咱们期待这位北大学友的更多成就,以及行将出现的干货博文吧。



    Powered by 科学探索网 @2013-2022 RSS地图 HTML地图

    Copyright Powered by365建站 © 2013-2024