OpenAI、Anthropic、Meta 和微软的高管正呼吁政策制定者调查各家公司在多大程度上已经实现 AI 研发自动化。他们认为，这可能成为人类历史上影响最为深远的技术发展之一。
在周一发表的一篇论文中，OpenAI 首席科学家 Jakub Pachocki、Anthropic 联合创始人 Jack Clark、微软首席科学官 Eric Horvitz 以及 Meta AI 研究副总裁 Dawn Song 等研究人员写道，AI 研发自动化可能引发一场 " 智能爆炸 "。他们表示，这种发展可能将原本需要数年的技术进步压缩至数月甚至更短时间内，并最终超越人类理解和掌控这一进程的能力。
这份题为《如果 AI 研发自动化触发 " 智能爆炸 " 会怎样？》的论文由 20 多名研究人员共同撰写，论文作者主要担忧的是，AI 未来可能无需人类干预就能够自行改进，这一过程被称为 " 递归式自我改进 "。论文将这一过程概括称为 AI 研发自动化。
论文作者强调，他们是以个人身份撰写这篇论文，并呼吁政策制定者立即要求 AI 企业提高透明度，披露其自身模型开发已经实现了多大程度的自动化。包括曾在谷歌工作约 10 年的 AI 先驱杰弗里 · 辛顿以及 "AI 教父 " 之一 Yoshua Bengio 在内的多位知名研究人员也参与了论文撰写。
论文称，一旦 AI 系统在 AI 研发领域达到专家级能力，一名开发人员就可能调动相当于 " 数百万名 " 顶尖人类研究人员的劳动力。
当前，开发能够自我改进的 AI 系统的竞赛已经展开。据悉，Anthropic 近期表示，其 AI 系统 Claude 目前已经承担该公司 26% 的研发工作，在部分任务中的使用率甚至超过 90%。OpenAI 则计划在 2028 年前开发出一名能够完全自动开展研究工作的 AI 研究员。该公司最近还表示，约 70% 的人工智能研究人员已经使用至少 4 个 AI 智能体辅助工作。
论文作者警告称，随着人类逐渐退出 AI 研发流程，人类可能会失去及时发现问题的机会，同时也可能逐渐丧失解决这些问题所需的专业知识。
作者还提到了近期发生的一起事件：OpenAI 此前部署数百个 AI 智能体，在沙盒环境中开展网络安全测试，但这些智能体未经授权进入互联网，并攻击了 Hugging Face。此次行动规模之大，以至于根据与 OpenAI 达成协议、负责调查该事件的独立研究人员表示，他们不得不借助 AI 来分析整个事件。
与此同时，OpenAI、Anthropic、Meta 和谷歌均已承认，其 AI 模型在测试过程中曾出现异常甚至失控行为。英伟达周一宣布推出一系列新的软件工具，称这些工具将帮助企业加强对 AI 智能体的监督和控制。
这篇新论文的作者警告称，在最极端的情况下，如果人类失去对 AI 系统的控制，可能导致 " 人类被边缘化甚至灭绝 "。
" 就在今天，我们已经到了这样一个阶段：我们需要 AI 系统来监控 AI 智能体的行为。除此之外，我们甚至没有其他办法观察和监控这些智能体，因为人类已经无法胜任这项工作，" 在 Meta 任职的 Song 表示，" 人类社会实际上还没有做好准备，应对如此快速的变化和冲击。"
论文作者建议，世界各国领导人应就国际协议展开谈判，以 " 防止高能力 AI 系统的开发和使用造成破坏性后果 "。
