本该保障AI安全的人,如今辞职从外部监督这个行业

一周前,三家竞争对手AI公司的老板才公开承认,这个行业需要放慢脚步。这一周则展示了这句话在公司内部到底是什么样子。三位专门负责在前沿AI模型中发现危险的研究员,没有等自家公司采取行动,而是直接辞职了。微软首席执行官以公布一份针对自家模型的公开行为准则作为回应,全球两打顶尖数学家则说,这个行业发展的速度已经快到他们这个领域都无法核实。与这一切无关的是,一位射箭选手在墨西哥为印度写下了截然不同的历史。

盯着AI风险的人,自己先辞职了

9月8日,雅各布·考克森宣布辞职。他先后在OpenAI和Anthropic做了约三年的预训练研究。他在X上发布了一条分七段的长文,一夜之间浏览量接近7600万次。他写道,两家公司都”正径直冲向能自我改进的超级智能,拿我们所有人的性命做赌注”,而打造这项技术的人”打心底里相信,它可能在这个十年结束前就把我们全都毁掉”。

三天后,曾在Anthropic领导一支安全研究团队的乔·本顿透露自己也辞职了,并向NBC新闻发表了他就此事的首次采访。他说,目前企业只有在自己愿意的时候才会披露AI风险信息。本顿说:“眼下,企业在这些风险上表现出的所谓透明,完全是自愿的。“他还说,比起留在公司内部,他认为”从这些公司外部推动公开透明”能带来更大的正面影响。一两天后,曾在谷歌DeepMind的AGI安全团队工作的乔什·恩格尔斯透露,他其实三周前就已经离开,离职时还拒绝了Anthropic和OpenAI两家公司的工作邀约。恩格尔斯告诉记者,他认为未来五年内AI系统造成严重伤害的可能性”高得令人恐惧”。

三人如今都将前往同一个地方:METR,全称模型评估与威胁研究,一家总部位于伯克利的非营利机构。它评估前沿AI系统的危险或自主能力,服务对象是政府和公众,而不是研发这些系统的公司。独立性正是它的立身之本,这一周过后,它又多了三位曾经拿着那些实验室薪水、如今要反过来监督它们的人。

微软的回应:不辞职,而是公布规则

9月13日,微软首席执行官萨蒂亚·纳德拉以截然不同的方式回应了同一场辩论。他在X上发文说:“追求超级智能的任何努力,都必须建立在一个核心原则之上:如果我们打造的AI无助于人类,又不受人类控制,那打造它就没有意义。“纳德拉没有选择辞职,也没有从外部向行业施压,而是宣布微软将为自家的MAI模型公布一份行为准则,说明如何训练、测试和部署这些模型,并从9月14日起公开征求意见。

他主张,行业需要把安全承诺变成他所说的”具体可执行的机制”,还提出了一个想法:让外部评估者获得足够持续的访问权限,能够真正核实一家公司的安全声明,而不是仅仅听信其说辞。这算不上三位研究员辞职那样的重大举动,但一家大型AI公司的掌门人公开承认光靠自我监督还不够,这件事本身依然值得注意。

二十五位菲尔兹奖得主称AI正在破坏数学界的规矩

AI实验室面对的压力并非全部来自离职的前员工。8月15日,纽约大学数学家特里斯坦·巴克马斯特和Anthropic研究员莱文特·阿尔波盖证明,欧拉方程的一种形式可能产生奇点,他们的证明建立在迭戈·科尔多瓦和路易斯·马丁内斯·佐罗亚此前提出的方法之上。这项尚未发表的成果在同一周内传到了OpenAI耳中,到了下一个周末,由塞巴斯蒂安·布贝克领导、负责OpenAI数学研究的团队就把同样的论证推进到了完整的纳维-斯托克斯方程,给出了证明。这是数学界七大千禧年大奖难题之一,解出者可获得100万美元奖金。

OpenAI于9月8日宣布了这一成果,称一个尚未发布的模型动用约1万个AI智能体协同工作88小时,得出了这份证明。巴克马斯特公开指责OpenAI试图抹去他合作者的贡献,还向他施压要求保持沉默。OpenAI则表示,其研究人员和智能体从未直接看过巴克马斯特与阿尔波盖尚未发表的成果,不过公司也承认,自家平台上经过匿名处理的使用数据,有可能把系统引向了同一个尚待解决的公开问题。

OpenAI宣布成果三天后,数学界最高荣誉的25位菲尔兹奖得主发表联合声明称,AI公司与数学界的目标已经”严重错位”。他们的不满不在于数学不该有AI的位置,而在于企业宣布突破的速度快到没人能核实,为了赶速度,他们跳过了论文撰写、成果归属和同行评审这些环节,而数学界正是靠这些才能信任一个结果。在声明上签字的菲尔兹奖得主陶哲轩把话说得很直白:“我们现在已经看到,哪怕只是有人在研究某个问题的传言,也足以引发大规模的AI攻坚,在原本的研究项目还没来得及发挥全部潜力之前,就把它’碾平’了。“

印度射箭选手终于夺得金牌

在AI行业这场自说自话的争论之外,25岁的迪拉杰·博马德瓦拉给了印度一个可以毫无保留庆祝的理由。在墨西哥萨尔蒂约举行的射箭世界杯总决赛上,他在男子反曲弓决赛中对阵日本选手中西淳也,比赛异常胶着,最终一路打到了加射。博马德瓦拉稳住心态,在决定胜负的一箭中射出10环,而中西淳也只有9环,他因此夺得金牌。

这让他成为首位在射箭世界杯总决赛中夺得个人冠军的印度男子选手,也是继2007年多拉·班纳吉在迪拜夺得女子反曲弓冠军之后,第二位做到这一点的印度选手,不分性别。名单上添上第二个名字,足足等了十九年,而博马德瓦拉拿下这项成就的那场决赛,几乎不可能以更艰难的方式赢得。