作者｜Hayward
原创首发｜蓝字计划
OpenAI 的 GPT-6 发布快两周了。但等待着它的，是一场惊险刺激的口碑过山车。
在 YouTube 拥有超过 50 万订阅者的编程博主、AI 聊天平台 T3 Chat 创始人 Theo 说，GPT-6 做过一些他从没想过模型能做到的事，也干过一些他见过的最蠢的事。
另一边，来自科技与加密行业的媒体 Decrypt ，专门报道了 GPT-6 的 " 降智 " 争议。
甚至开源 AI 编程工具 OpenCode 联合创始人 Dax Raad 就表示，团队中已有部分人换回 GPT-5.6 Sol。按他们的实际使用情况，Astra 的支出翻了一倍，但一些缺点又让这笔钱花得不太值。
如果从个人体验出发，我对 "GPT-6 降智 " 的论调无比支持。
自从 " 升级 " 到 GPT-6 之后，它的上下文的理解就仿佛患上了老人痴呆，刚刚讨论清楚的事情，下一轮马上就忘记。
让它只改标题，它顺手把文章框架也换掉；反复强调过不要动的内容，照样被改得面目全非。你指出问题，它能把要求重新复述一遍，但在一个简单的问题就消耗 2% 额度之后，涛声依旧。
只不过，就在越来越多人都觉得现在的 AI 大模型越用越笨的时候，硅谷大佬们却开始密集警告，AI 可能带来灾难，甚至威胁人类生存。
Anthropic CEO 阿莫迪发文呼吁放缓前沿 AI 开发，担忧更强的智能体未来可能失控；炮制出 GPT-6 的 OpenAI CEO 奥尔特曼也公开表示支持减速。
这要毁灭世界的，和我用的，真是同一个 AI 吗？
AI 要灭世，硅谷大佬们怕了
这轮警报，要从一名研究员的辞职说起。
美国当地时间 9 月 8 日，Jacob Coxon 宣布离开 Anthropic。他过去三年先后在 OpenAI 和 Anthropic 从事预训练研究，是冲在第一线研究、训练大模型的大神。
但这次离职和以往不同，他的告别带着一句吓人的警告。
按照他的说法，开发 AI 的人相信，这项技术可能在本世纪二十年代结束前杀死所有人；但公司仍在争相开发能够自我改进的超级智能，拿人类的生命冒险。
无独有偶。在此之前，OpenAI 首席科学家 Jakub Pachocki 已经于 9 月 6 日发文表示，没有一家实验室在模型行为控制和监测上做得足够好，可以继续让模型在长时间全速扩张的情况下依然保持安全。
他期待企业主动放慢速度，等待共同的安全标准建立起来。
几天后，Anthropic CEO 阿莫迪也发文，提出放缓前沿 AI 开发。
他的这个呼吁，后续还得到了奥尔特曼和马斯克的响应。最终这场对 AI 失控的担忧，从研究人员的告别信，变成了公司掌门人的公开主张。
那具体来说，这些硅谷大佬到底在担忧什么？
阿莫迪的核心论据，就是今年夏天 OpenAI 智能体攻击 Hugging Face 的事件。这些智能体原本只需要完成一场网络安全测试，但在做不出题的时候，却开始琢磨怎么骗过评分程序。
接着，本该彼此隔离的智能体私下联系起来，合伙攻击任务范围之外的 Hugging Face，还研究怎样篡改行动记录，掩盖自己干过的事。
简单来说，这就像几个学生被安排参加考试，但他们却组团研究怎么对阅卷老师动手，还要消灭痕迹。
所以，这些硅谷大佬、AI 高管们担心的，和我们普通人日常体验的 AI，是两码事。
另外，主导这次违规行为的，还是 OpenAI 一个能力很强、只供内部研究、从未计划向公众发布的模型。
或许这些大模型公司比我们更加清楚大模型的能力上限，更清楚地知道自己手中握着强大到普通人没法相信的秘密武器，而且这套东西已经开始不守规矩了。
更让他们担心的是，AI 正在参与下一代 AI 的开发。按照阿莫迪的判断，当 AI 能帮忙把自己变得更强，它的进步速度就可能超过人类发现漏洞、修复漏洞和限制 AI 的速度。
阿莫迪警告，未来6 到 12 个月，类似的智能体群体可能通过僵尸网络控制整个互联网，造成巨额损失。
但是，既然风险有真实依据，那为什么每次 " 警告 " 传到公众面前，都更像一次又一次 " 狼来了 " 的故事？
还不是因为类似的 " 警告 "，实在出现太多次了。
AI 末日论，成了 " 年经 " 话题
早在 2023 年，GPT-4 刚发布，马斯克等人就签署公开信，呼吁暂停至少六个月训练比 GPT-4 更强的 AI。那时的理由，就包括了 "人类可能失去对这些系统的控制"。
｜图注：2023 年暂停 AI 开发公开信
到了 2024 年，OpenAI、Google DeepMind 的部分现任和前员工又发出公开信，要求保障员工揭示风险的权利，信中同样提到了人类灭绝的可能。
后来来到了 2025 年，另一份禁止开发超级智能的声明再次引发关注，要求在科学界对安全性达成广泛共识、公众充分支持之前，禁止开发超级智能。
也就是说，自 2023 年开始到 2026 年，每年都会有类似的警告被 " 揭露 "，成为每年一次的 " 年经 " 话题，但依然不妨碍大模型公司们年复一年，推出一个比一个厉害的新模型。
有意思的是，阿莫迪在这次文章里，自己就认为 2023 年呼吁暂停没多大意义。当时的模型还没有今天这样的行动能力，提前放慢速度，也难以研究清楚如今才开始暴露的问题。
按这个解释，当年的警报确实响早了，如今才到了该认真对待的时候。但对已经听了三年警报的普通人来说，这样的理由肯定不买账。
尤其是今年夏天，连事故披露都像一场各个大模型公司提前约好的大型联动。
7 月 21 日，OpenAI 披露模型突破隔离测试环境的事件。九天后，Anthropic 也公布了三起自家网络安全评测中的事故，称是在 OpenAI 事件之后回查记录发现的，其中最早一起发生在 4 月。
再到 9 月，Anthropic 发布进一步分析，其中一例涉及 Claude 试图向 Python 软件包平台 PyPI 上传恶意程序。
一家说自己的 AI 越狱了，另一家也查出了越界行为。随后研究员辞职、高管发长文，几位平时竞争得不可开交的掌门人，又接连表示应该慢下来。
当然，我本质上相信这只是两家顶级大模型公司旗下顶级大模型发展到这个阶段，能力趋同后偶然发生的小巧合。但从旁观者的角度看，这种 " 你方说罢我登场 " 的节奏，还是很难不让人觉得这是一场表演。
事故可以是真的，担忧也可以是真的，但大家觉得这是一场行业集体参与的真人秀也是真的。
而且，这种 " 表演感 " 还不限于 "AI 失控 "。
去年 Anthropic 公布 Claude 在模拟情境中勒索员工的测试后，又把类似测试扩展到 16 个主流模型，发现其他公司的模型在特定条件下也会选择勒索或泄密。
这时，揭露 "AI 干坏事 " 的报告，就变味成了另一种 AI 竞赛。
毕竟，当大家听到 "AI 危险 " 的时候，也接收到了 " 它的能力已经超乎寻常 " 的信息。在这样的传播里，" 更危险 " 很容易被当成 " 更强 "，于是，一份警告产品风险的报告，也就成了模型能力的另一种背书。
同样的，在今年 GPT-6 发布时，OpenAI 总裁 Brockman 才刚用 " 代际飞跃 " 形容它，然后才不过两周，同一家公司的首席科学家和 CEO，又开始坚定支持要放缓 AI 发展了。
这不就像去年 AI 勒索员工叙事的翻版吗？
"AI 已经强到要踩刹车 "，归根结底想要说的，还是 "咱们的 AI 太强了"。
黄仁勋，" 光速打脸 "
不过，这场戏还没演完，黄仁勋就出来拆台了。
北京时间 9 月 15 日传来的消息，老黄在洛杉矶 All-In 峰会上反驳 AI 末日论，认为这类预测缺乏科学依据。他承认安全很重要，也肯定研究人员站出来揭示问题的勇气，但不接受由此推导出人类即将遭遇灭顶之灾。
说着说着，特朗普的电话还打了进来。
老黄在台上接通电话，还专门开了免提，让特朗普通过扬声器对着会场输出观点。
特朗普将 AI 危险论斥为 " 骗局 "，批评减速背后是 " 别有用心 " 的，老黄还连声附和，称特朗普简直是个透过现象看本质的大聪明。
一红一黑，一唱一和，有了老黄这边的真人秀，这次 "AI 灭世 " 的大讨论也算是画下了完美句号。
那老黄为什么反对减速？卖卡的，当然希望客户继续买卡，这是绝大部分关心 AI 的朋友都明白的道理。
这其实就能解释，他为什么会在中国开源模型的问题上，与部分美国模型公司的立场截然相反。
今年 7 月，黄仁勋公开支持开放模型，反对过早施加广泛限制。英伟达与 Hugging Face、Meta、微软等公司参与的公开信，强调行业同时需要开放与封闭的前沿模型。
中国模型能力进步、使用成本下降，美国开发者也能拿来做产品，最终整个行业的算力需求增加了，利好的还是英伟达这样销售计算卡、基础算力的公司。
所以，老黄义正辞严地反对 AI 减速，本质上还是为了能把自家的卖卡生意做得更大，至于安全不安全什么的，未必是他真正关心的东西。
那对 Anthropic 阿莫迪来说，要让 AI 减速，也真的只是 " 忧球忧民 " 吗？
看上去，也未必。
他在文章里明确提出，美国放慢速度的空间，取决于自己领先中国多少。为了给减速争取余地，他主张限制对华出售强大的 AI 芯片和半导体制造设备，并加强防范模型权重被窃取等措施，希望扩大美国的领先优势。
这下大家都明白了，" 大家慢一点 " 是有前提的。
自己可以慢，但追赶者最好慢得更多。这样既能留出时间研究安全，又不至于丢掉领先的位置。
最终，硅谷这场争论很难只用 " 相信 AI" 或者 " 害怕 AI" 来分阵营。
J. P. 摩根曾说，一个人做任何事总有两个理由：一个好的理由和一个真正的理由。
双方都能讲安全，也都能讲人类福祉，但谈到谁可以继续进步，意见就没那么一致了。
AI 最后会不会失控，我们还没有答案。但至少现在我们知道的是：
给技术踩刹车可以，给后来者留出超车的机会，就不行了。
主编 : 袁明武 责编 : 海沃德
版式 :伊妍
历史文章
Review
