小泽圆电影
新智元报谈
裁剪：裁剪部 HYZ
【新智元导读】就在刚刚，恶耗传来：年仅41岁的谷歌DeepMind天才科学家Felix Hill英年早逝。他的一篇博客揭露了AI推敲者濒临的矍铄压力：几大公司的竞争，推敲标的的迷失，让他即使积贮了大都金钱，内心也依然厄运。AI推敲者们哀悼暗示，这个音讯令东谈主心碎。
就在刚刚，一个令东谈主悲伤的音讯传来。
谷歌DeepMind推敲科学家Felix Hill，于2024年12月5日英年早逝，年仅41岁。
自2023年头以来，他一直在与严重的精神疾病作斗争。技术，他线路出了重度抑郁和严重的自尽倾向，终于照旧莫得扛往日。
Felix是一位学术效果颇丰的AI学者，谷歌总援用量为19680，参与创建了天然话语领会基准GLUE和SuperGLUE。
Felix Hill本科在牛津大学学习数学，随后在剑桥大学拿到了话语学硕士学位，和计较话语学博士学位。
毕业后，他曾有8个月在高中担任数学本分，随后参加谷歌DeepMind，当了快要8年的AI推敲者。
音讯传来，他的AI圈好友无不暗示哀悼和痛心。
1月11日，Felix的葬礼将于伦敦北部举行，届时将进行现场直播。
许多相识他的东谈主哀悼地留言说：Felix是一个很罕见的东谈主，超前于这个期间。
傍边滑动检验
最令东谈主心碎的博客
是什么样的原因，让这样一位效果丰硕的AI学者的人命逝去？
他生前的一篇博客，揭露了许多细节。
他宝贵描绘了2023年母亲离世后，正在神经医院招揽解救的我方症状更严重了。接下来的12个月内，他更是堕入格外恐慌和自尽的抑郁状态。
他也写谈，我方当初投身AI推敲并不是为了赢利，但AI大爆发后，我方仿佛被动参加「斗殴」状态，写论文、搞推敲、创业，都令东谈主压力重重，找不到前途。
即使积贮了大都金钱，我方也依然出了问题。
著作地址：https://medium.com/@felixhill/200bn-weights-of-responsibility-da85a44a2c5e
英伟达高等推敲者Jim Fan读完哀悼地暗示：这是我读过最令东谈主心碎的博客，因为它如斯简直，如斯逼近内心。
Jim Fan暗示，AI不应该是200B权重的压力和厄运。
也曾，这是一个充满咖啡因带来的灵光乍现的地点，是令东谈主喜悦的半夜arxiv探索之旅，是能让推敲者脸上真切笑貌的绝妙主张。但通盘涌入的成本和关注，似乎正在迫使每个东谈主竞相逐底。
黄仁勋时常对职工们强调，不要用「击败这个，碾压阿谁」的措辞。因为大众的筹算是为了擢升通盘生态，而不是让任何东谈主堕入平川。AI学者的服务是作念大蛋糕，越大越好，然后再分拨。
AI不是零和博弈，事实上，它可能是东谈主类有史以来领有的最正和的博弈。大众应该作念的，是向竞争敌手传递爱意。
Jim Fan写谈，天然并未有幸在现实生活中相识Felix，但我方很心爱他的推敲试吃，为他的每一篇新论文都配置了Google Scholar教唆。他在AI智能体和VLM方面的服务也对我方影响很深。
「他本应该成为一个很好的一又友。我想相识他，但当今照旧不可能了。」
「安息吧，Felix。愿下世你不需要去战斗。」
2000亿权重的服务：当代AI服务中的压力
底下这篇博客中，Felix宝贵转头了AI爆火的几年，给我方的生活带来的巨变——
往日两年，AI范围发生了不可逆转的变化。
ChatGPT的月活数接近2亿东谈主。Gemini在2024年5月的考核量接近3.2亿次，AI爱好者当今不错使用AI微波炉、AI牙刷，甚而AI足球。
可是，对于咱们这些在AI范围服务的东谈主来说，这种大众敬爱的激增既是福亦然祸。
诚然，薪资水平高潮了，股价和市值也随之提高。但另一方面，这种变化也带来了独到的压力。
这篇博客论述的是当代AI范围的压力。它面向通盘在AI范围服务的东谈主（按保守算计，当今全球东谈主口中约莫有87%的东谈主在从事AI相干服务），罕见是那些从事AI推敲的东谈主。
最终，我但愿通过盘问AI推敲中的压力源，让咱们这些有幸在该范围服务的东谈主生活得更沸腾一些。
因为，尽管面前一派繁杂，这仍然是一个巧妙而充实的处事——它有后劲贬责科学、形而上学乃至东谈主类自身的诸多要害问题。
无处可逃
几个月前，我参加了一个一又友的40岁寿辰派对。在那些我不太熟悉的东谈主中，我提神到一个奇怪的舒心。
尽管我那时体格不适，何况彰着不太想讲话，但我周围照旧形成了一个包围圈，原因只是是，大众知谈我在DeepMind上班。
何况，他们想聊的不是足球或80年代音乐，恰正是我最想幸免想考的主题——AI。
天然很谢意这样多东谈主对我的服务感敬爱小泽圆电影，但这也教唆我往日两年发生了多大的变化。
银人人、讼师、医师和抑制参谋人都想听听我对ChatGPT的办法；天然很少有东谈主宣称在服务中径直使用了LLM，但他们信赖，AI范围正在发生一些他们应该了解的事情。
行为又名推敲东谈主员，我信赖你也能体会到这种在酬酢步地无法松开的嗅觉。
但情况更糟。就连在我方家里，我也找不到稳定。
我早已不再看新闻，因为发怵激勉恐慌。但即使是在看足球、VH1、蒙塔尔巴诺探长，或者那部出色的《那不勒斯四部曲》改编剧时，告白中也充斥着与AI相干的内容。
在这段时候，我时常幻想着打理行李，进取大洲去加入一个隐居群体。但很可能连内不雅禅修（Vipassana）也被AI浸透了，这不会让我诧异。
无形的竞争
几家大公司竞相拓荒最大、最佳的LLM，这一事实自身就令东谈主压力重重——不管你为哪家公司服务。
当今从事AI推敲，嗅觉就像参与一场斗殴。希特勒和达奇·舒尔茨的例子告诉咱们，参战可能导致神经病态、仳离和自尽等严重后果。
天然，我并不是要把参与AI推敲等同于参与简直斗殴，但我的切身经验却标明，这种类比是很简直的。
关乎底线的服务
无为，业界的推敲东谈主员并不习尚于我方的服务对老板的底线产生径直且即时的影响。
天然，许多推敲东谈主员都想象能够产生这样的影响。只是以前，这种契机可能是十年难遇。
如今，对LLM基础推敲的扫尾，时常只会对模子性能产生轻细、短期的波动。可是，由于公司估值与LLM性能（难以分割地？）挂钩，这些波动可能导致股价出现数十亿好意思元的滚动。
这种动态令东谈主倍感压力，何况这也不是AI推敲东谈主员在推敲生阶段、博士后技术，甚而在2022年之前的服务中所能预意料的。
钱，
钱，照旧钱
大多数AI推敲东谈主员，尤其是咱们这些卓绝某个年级的东谈主，当初投身推敲并不是为了赢利。
作念我方艳羡的服务还能得回丰厚报答听起来是个完好决议，但这也可能激勉横蛮的恐慌。罕见是当激动你收入增长的外部身分不在你的放胆范围内，且/或者这些身分让你对服务的艳羡进程大不如前时。
不管AI是否与此关联，瞬息积贮金钱可能会导致各式问题，望望那些经过多年尽力终于成名的演员或歌手就知谈了。成瘾、心境闹翻、友谊幻灭，甚而自尽只是一些较为常见的症状。
这些症状，我照实都不教而诛。
科学家变装缺失
LLM的范围、简短性和灵验性使得作念出「相干」的「科学推敲」变得清贫，这里的相干指的是能立即改良LLM。
开端的LLM推敲东谈主员照旧开动认同Rich Sutton的「苦涩警告」：除了范围以外，险些不需要任何改进。
何况，即使表面上可能存在实质性改进，终了它时常需要在不同条目下反复查考最大范围的LLM。这甚而连最大的公司都包袱不起。
对于一个「泛泛」的推敲科学家来说，这嗅觉简直令东谈主散逸。
对于习尚于在5至10东谈主的小团队中服务的工业界科学家来说，这些照旧很勤劳。但学术界的东谈主所遭受的无疑愈加严峻，比如那些博士生、博士后和AI/CS/机器学习范围的教职东谈主员。
发表论文
天然学术界的东谈主不错（也应该）无间发表从LLM实验中得回的视力，但对于工业界的科学家来说，发表论文的问题就没那么明确了。
发表论文一直是科学经由的内在构成部分，也一直是AI推敲的中枢原则。我战争过的大多数AI推敲东谈主员，罕见是推敲科学家，都容许我的不雅点：发表论文是咱们处事生存的关节。
但是，至少在工业界，往日2年来，推敲效果是否能够发表的问题变得越来越不解确。能够改良LLM的小手段可能等同于LLM之战中的关节火器。将这些神秘公开是否对资助推敲的组织故意，这永恒是一个需要三想此后行的问题。
这一切都意味着，推敲东谈主员时常对我方主张的前途毫无把抓，至少，这会对我酿成矍铄的压力。
创业公司
天然，解脱这些困扰的一个可行前途，即是贪图科研标的，筹集资金并配置创业公司。事实上，面前AI创业公司（不管大小）的激增标明有若干科学家礼聘了这条路。
但成为首创东谈主并不成势必地躲避相干压力。
人所共知，创业的压力也很大；即使在现时投资者温顺飞腾的情况下，许多资金饱和的AI创业公司仍然失败了。
我知谈，成为首创东谈主是一段罕见孤立的旅程。这无疑是当下嘻是图的科学家们的一个可行礼聘，但这既不会让作念推敲变得容易，也不会减轻压力。
为什么要写对于压力的博客
往日两年在AI范围可谓繁杂而豪恣，而对我个东谈主而言，这更是一段罕见激荡的时期。
2023年4月，我的母亲在与阿尔茨海默症历久回击后离世。那时的我正在神经医院招揽解救，因为出现了严重的精神症状，其中压力很可能是要紧诱因。
在接下来的12个月里，名义上我是在康复中，但推行上却堕入了格外恐慌和自尽倾向的抑郁状态。
情欲超市全文阅读所幸在这技术，我遇到了格外领会我的处境（以及认同我对公司的价值）的老板，他们一直为我提供解救和精神上的相沿。
经过另外6个月的重度抑郁之后，我的现象开动好转，最近也嗅觉我方有才略写下这些经验。
我深刻地相识到压力和恐慌是密不可分的；事实上，它们本色上可能是兼并件事。诚然，像任何恰当性特征雷同，恐慌有时也能带来积极影响（比如提高坐褥力），但一朝恐慌变得失控，后果可能格外严重。
正是在尝试从头学习怎样成为又名AI推敲员的经由中，转头AI范围这两年的发展，让我得回了这篇博客中所共享的视力。
诚然，只是共享这些视力并不成从根蒂上贬质问题，但在最勤劳的时期，能给我带来但愿的少数事情之一即是意志到我并不是一个东谈主在战斗。
如若你当今也在经验访佛的困扰，请记取——你并不孤苦孤身一人。
酬酢恐慌
我照旧盘问了现时从事AI推敲的东谈主可能遭受的诸多压力或恐慌的诱因。
可是，还有一种压力我尚未说起，这是因为我很行运从未切身经验过。我对它的了解，皆备来自于与一又友和同事的深入交谈。
这种压力即是酬酢恐慌。
据一又友们反馈，那些有酬酢恐慌的东谈主时常会认为群体互动充满挑战。在当代AI范围，这是一个格外严峻的挑战，因为大型神色团队和大范围的（无为是跨洲际的）互助已成为必需。
面前行业中的高流动率更是雪上加霜，因为已拓荒的团队（无为行为酬酢「安全网」）可能在整宿之间结果剖释。
东谈主员流动还可能激勉信任危急，因为也曾可靠的伙伴可能会转投竞争敌手的推敲团队。
值得欣慰的是，酬酢恐慌和我此前盘问过的通盘恐慌或压力线路雷同，都是不错克服的。克服的第一步是培养以家东谈主和「非AI圈」一又友为主的天然相沿系统。
而关节的第二步，则是咱们通盘从事AI服务的东谈主，都要开动并持续保持对于压力的坦诚对话。
因此，真挚邀请你在酬酢媒体上共享我方的经验和感受。让咱们联袂尽力，不仅将AI推敲打酿成一个充满活力和才略挑战的范围，更要使其成为一个充满同理心仁爱意的善良家园。
AI大佬发长文惦记
Contextual AI首席扩充官Douwe Kiela发文暗示，我真的很痛心，我亲爱的一又友Felix Hill离开了咱们。他辞全国各地有好多一又友和同事。为了让更多东谈主知谈，他的家东谈主但愿咱们共享这个网页，一谈挂念他的一世：
EPFL老练，前DeepMind推敲科学家Caglar Gulcehre暗示，听到Felix离开咱们的音讯，确凿令东谈主心碎！
他回忆谈，「我第一次见到Felix是在蒙特利尔读博二的时候。那时候，我老成验抑郁症，头两年的生活很难受。我搬到一个新国度，再加上冰天雪地的天气，让我感到罕见不恰当。
Felix老是充满活力，乐不雅晴明。但有时候，你很难知谈别东谈主生活中正在经验什么。是以，对他东谈主多一份领会，不要疏漏下论断很要紧。随机他们可能老成验着不为东谈主知的窘境。可惜的是，好多东谈主仍然低估了心情健康的要紧性。
寻求匡助并不是恐慌的线路。刚到DeepMind服务的头两年，我的父亲突发腹黑病，自后还失明了；我的姐姐也被会诊出癌症。那时候，我又搬到了另一个国度。如若不是寻求了专科匡助，我不知谈我方该怎样应酬这一切。
不管何时需要匡助，都要勇敢去寻求。我很谢意身边有许多相沿我的东谈主，在清贫时期赐与了我很大的匡助。如若心情状态欠安，很难在服务上取得告捷。向Felix家东谈主致以深入的慰问」。
DeepMind推敲科学家Andrew Lampinen发文吊问其这位也曾疏导过我方的导师——
Felix Hill是一位格出门色的导师——偶尔亦然我的冬泳伙伴。我能加入DeepMind，以及形成如今作念推敲的样式，很猛进程上都要归功于他。都往日一个月了，我照旧认为难以信赖他照旧离开了。
Felix在礼聘推敲方进取有着超强的目光，何况直观罕见准。每当遇到新主张，他总会线路出孩子般的温顺和好奇心，还罕见幽默，能够与他一谈服务真的让东谈主备受启发。
他也罕见垂青跟他同事的每个东谈主。在我刚到DeepMind的时候，他和Jane Wang一谈把一群超棒的东谈主聚在了一谈，比如Stephanie Chan、Aaditya Singh、Allison Tam，还有其他好多一又友和合作伙伴。
不外他也经验过一段勤劳时期，尤其是最近这几年。我终末一次和他聊天是在他离世前简略一个月，那时他跟我共享了一个嘻是图又有点豪恣的神色主张，让我仿佛看到了他当年的影子。但那会儿我太忙了，一直莫得再跟进，直到当今为时已晚，于今这件事让我罕见后悔。
纽约大学计较机科学和数据科学老练Kyunghyun Cho更是写了一篇长文惦记骸骨——「再见了，Felix」。
著作地址：https://kyunghyuncho.me/bye-felix/
这段翰墨写于2024年12月9日，但其时我既不肯意也无法招揽所发生的事实，是以一直莫得勇气发布。即便到当今，每当想起这件事，我的心仍然浑沌作痛。我礼聘在2024年的终末一天发布这段翰墨，以此惦记Felix。
时候回溯到2014年头夏。我其时在蒙特利尔大学担任Yoshua Bengio老练的博士后推敲员，而Felix是一位刚刚抵达蒙特利尔的考核学生。
那时，我正在竭力于于拓荒一个能够处理长句子的神经机器翻译系统（Neural Machine Translation，NMT），为此我尝试了通盘能意料的法式（提神力机制其时并不在其中，直到同庚夏天Dima Bahdanau行为实习生来到蒙特利尔才有了冲破）。
在这些探索性尝试中，我构想了使用门控卷积编码器（Gated Convolutional Encoder）来替代基于轮回神经收罗（RNN）的编码器。通过对门控机制施加相宜的不竭，我告捷查考出了这个模子，并使其具备了一定的可解释性。
当Felix来到我的办公桌前，以话语学家和计较机科学家的身份作念自我先容时，我很喜悦地想要向他展示这个新模子所揭示的可解释结构。
于是我向他展示了：
Felix以极其确定的口吻对我说，「Kyunghyun，语法并不要紧」。这简略是我听过非韩国东谈主中最尺度的名字发音。
那一刻我就预料到，Felix一定会成为我最佳的一又友之一——事实解释，从那时起直到当今照实如斯）。而他说的这句话，也在往后几年里通常出当今我的学术演讲slides中。
在咱们共度的那些忻悦时光中，除了进行深入却不失真理的形而上学推敲，咱们也开展了一些推敲合作。
除了共同发现的诸多敬爱效果外，咱们最具象征性的「孝敬」反而是一个格外罕见的舒心：从2016年开动，咱们不测中引颈了一股持续3-5年的潮水，即是东谈主东谈主都仿佛着了魔似的要在论文中塞入一个装满海量数字的「超等大表格」（The Really Enormous Table）。
其时咱们在写「Learning distributed representations of sentences from unlabelled data」这篇论文时，皆备没想那么多，但最终照旧放入了两个矍铄的数据表格：
2018年头，Felix在ICLR的论文相聚发现了好几篇包含「超等大表格」的论文，这让咱们不禁哑然发笑。
即使在严谨的学术推敲中，咱们依然保持着这种忻悦的合作样式。
时光飞逝，快要十年后，Felix行为2023年拉好意思东谈主工智能会议Khipu的组织者之一，邀请我担任演讲嘉宾。他饶有敬爱地向我形容咱们将要进行的举止：不雅看足球比赛，游览布宜诺斯艾利斯等等。
可是，当我在2023年3月抵达蒙得维的亚参加Khipu时，却发现Felix并未到场。其他组织者告诉我，他因为健康问题无法前来。那时的我还不曾意料，这竟是我终末一次有契机与他再会。
Felix在2023年第二届Khipu上未领取的参会证件
2024年6月，经过漫长岁月，我终于有契机造访伦敦，便给Felix发音讯约他共进午餐。尽管我明晰碰面的可能性飘渺，但我真的格外期待能与他相聚、空谈，一谈消磨时光。
咱们前次碰面照旧在疫情之前，之后就只可靠偶尔的汉典视频估量。我也私下期待能看到他康复的喜东谈主变化。
几个月后（2024年8月），Felix回话了音讯，并为迟复致歉，这实在让东谈主爱重。他还附上了一张咱们的合影（不是AI生成的，但是Felix「生成」的），唤起了咱们前次在伦敦相聚的好意思好回忆。
左图：这是一张由Felix本东谈主「生成」的与我的合影；右图：这是一张简直拍摄的Felix与我的合影
上周五，我收到了Douwe发来的WhatsApp音讯。正是由于Felix在2014年的引荐，我才相识了Douwe，并与他拓荒了深厚的友谊。我立即尝试估量Felix，但不管是WhatsApp照旧手机，都照旧无法接通。
Felix，愿你当今已不再厄运，在天堂与母亲团员。
