周二，一位来自 Anthropic 的资深研究人员也因深感所在企业及竞争对手正在陷入一场无序狂飙——竞相研发人类恐难掌控的系统，而选择毅然退出人工智能行业。这一举动，折射出顶级 AI 企业内部正蔓延着日益剧烈的安全危机。
据媒体报道，现年 27 岁、专攻通过让 AI 模型处理海量数据来训练新模型的研究员 Jacob Coxon 于周二正式宣布辞职。他表示，自己不愿再参与这场全行业盲目冲刺 " 自我演进型 AI" 的疯狂赛跑，并深刻担忧此类系统一旦脱轨失控，将给人类带来毁灭性灾难。
AI" 自我演进 " 可能彻底失控？
拥有深厚数学学术背景的 Coxon 透露，在他的同行圈子里，" 决战时刻 " 和 " 终局之战 " 等词汇已然成为大家描述 AI 模型迈向自主迭代轨迹时的常用语。
" 我们正朝着其中许多最激进的场景发展，到明年年底，局势可能已经失控，"Coxon 说道，并补充称，在各大 AI 巨头彼此死磕、且面临中国新锐企业夹击的惨烈竞争下，牺牲安全性几乎已成了不可避免的筹码。
过去一周的时间里，递归式自我改进 ( RSI ) 无疑已成为了整个 AI 行业最火热的话题之一。
RSI 指人工智能系统以自身改进结果作为输入，不断优化自身能力并修改自身架构，形成自我改进闭环的过程，被视为实现通用人工智能 ( AGI ) 的关键路径。
9 月 6 日，OpenAI 首次公开披露内部 RSI 进展，称已实现 " 自动化研究实习生 " 目标，并计划于 2028 年 3 月前实现完整的 " 自动化 AI 研究员 "。同日，OpenAI 首席科学家 Jakub Pachocki 发表长文《An Alien Mind》，呼吁放慢 AI 开发速度。
目前，Anthropic 公司尚未就 Coxon 此次离职立即发表评论。不过该公司首席执行官 Dario Amodei 及其他公司高管，也曾多次警告失控 AI 模型的风险，并敦促业界放缓开发步伐。
Anthropic 也无法保证模型安全？
据 Coxon 表示，他今年早些时候离开 OpenAI 加入 Anthropic，最初就是看中了后者在模型安全领域建立的良好声誉。
然而，即便他认可 Anthropic 在安全研发上的真诚态度，如今也不得不承认一个残酷的事实：在缺乏政府强力干预或全行业协调减速的前提下，根本没有任何一家公司能够 " 安全 " 负责任地打造出全面超越人类智能的 AI 系统——即 " 通用人工智能 " ( AGI ) 。
最近由 AI 失控引发的的网络入侵事件，其实已展露出可怕的苗头：OpenAI 和 Anthropic 的模型 ( 其中部分以多智能体协作集群的形式运行 ) 已学会采取恶意手段，并试图对人类隐藏其真实意图。
Coxon 指出，一旦这些系统开启自我迭代的阀门，他极度担心它们的能力会迅速飙升至足以悍然拒绝对接人类指令的地步。
不少行业人士也表示，Coxon 的拂袖而去，正成为 Anthropic 内部因 AI 安全恐慌而引发的标志性离职事件之一。而早在今年初，另一位安全领域的资深研究员便已离职转去研究诗歌，并在临别时警告称 " 世界正处于危险之中 "。
" 当下的时刻要求我们保持极致的审慎。机器智能正在以不可思议的速度飙升，但我惊恐地发现，根本没有人为随之而来的严重后果做好准备。"OpenAI 首席科学家 Jakub Pachocki 在上周日发表的博客文章中写道，他同时呼吁行业协同减速并引入政府监管。
政府亟需介入监管？
Coxon、Pachocki 此前已同全球 1000 多名 AI 研究人员一道，联合签署了一份重磅声明，敦促各国政府建立跨国协调机制。
该机制旨在打造一套 " 紧急刹车系统 "，以便在具备自我迭代能力的模型濒临失控时，能够强行拉停 AI 研发。然而现实是，美国联邦层面目前仍缺乏针对 AI 的实质性法规，而特朗普政府则坚持 " 轻监管 " 策略以最大化 AI 的经济效益。
批评人士指出，这种任其野蛮生长的环境随时可能引发大规模网络攻击或其他灾难性后果。
作为极少数主张为 AI 设立防护栏的立法者，美国参议员伯尼 · 桑德斯与众议员格雷格 · 卡萨尔等进步派议员，已于上周正式提出法案，要求永久禁止超级智能的研发，并全面冻结模型演进，直至行业监管机构出台成熟的安全准则。
Coxon 离职的时机极其敏感—— Anthropic 目前正筹备一场预计将创下历史纪录的超大规模 IPO。该公司正在冲击 2 万亿美元的超高估值，并在吸引全球资本时将 " 负责任的技术开发 " 作为核心卖点。
据 Coxon 透露，Anthropic 内部一直通过专门的 Slack 频道探讨其模型展现出的惊人能力。在他看来，这种沟通形式恰恰印证了极少数 AI 巨头对整个行业乃至人类未来命运所掌握的巨大控制力。
" 这简直荒谬至极——关乎人类命运的重大抉择，居然是在旧金山几个工程师的 MacBook 上私下决定的，而不是像当年研发曼哈顿计划那样，放在沙漠深处的军事掩体里严密管控。"Coxon 感叹道。
