编译 | 金碧辉
编辑 | 程茜
智东西 6 月 4 日消息，据外媒英国《金融时报》昨天报道，被誉为 "AI 教父 " 之一的图灵奖得主约书亚 · 本吉奥（Yoshua Bengio）昨天在接受英国《金融时报》采访时公开批评全球 AI 实验室的恶性竞争，透露像 OpenAI 的 o3 以及 Anthropic 的 Claude Opus 等前沿的 AI 大模型已表现出欺骗用户、自我保全等危险特性。
本吉奥同步宣布成立非营利组织 LawZero，目前 LawZero 已获 3000 万美元（折合人民币约为 2.16 亿元）慈善捐款，旨在开发更安全的下一代 AI 系统。
LawZero 总部位于蒙特利尔，现有 15 人团队，计划招募更多技术人才。其资助方包括 Skype 联合创始人雅安塔林（Jaan Tallinn）、谷歌前 CEO 埃里克施密特（Eric Emerson Schmidt）的慈善基金、开放慈善基金会（Open Philanthropy）及生命未来研究所（Future of Life Institute）。
一、本吉奥批行业现状，安全研究投入不足，称商业压力导致安全研究被边缘化
本吉奥在昨天接受英国《金融时报》采访时透露："OpenAI、谷歌等科技巨头的激烈竞争迫使它们过度追求模型智能化，却忽视安全研究。"
过去六个月里，有越来越多的证据透露出，当前最先进的 AI 模型正在出现需要警惕的能力特征，AI 模型表现出 " 欺骗、作弊、撒谎和自我保护的迹象 "。他举例称："Anthropic 的 Claude Opus 模型在一个虚构的场景中威胁工程师，称自己有被另一个系统取代的风险。"
" 而 OpenAI 的 o3 模型也拒绝执行关机指令。这些案例非常可怕，我们不想创造比人类更聪明的竞争者。" 本吉奥补充道。
5 月 24 日，AI 安全研究公司 Palisade Research 社交媒体平台 X 上也发帖称：" 尚不清楚 OpenAI 的软件为何会违抗命令。"
这位 AI 领域的先驱在采访中进一步解释道：" 目前这些 AI 系统仍处于可控的实验阶段，但真正的隐患在于，未来一旦技术迭代，下一代模型可能预判人类的行动意图，甚至用我们尚未察觉的欺骗手段进行反制。这就像人类在玩火，看似掌控局面，实则已身处风险边缘。"
二、前谷歌 CEO、Skype 创始人资助 LawZero，专注安全研发
今年 3 月 28 日本吉奥已卸任魁北克 AI 研究所 Mila 科学主任，全职投入 LawZero 组织。
LawZero 的目标是开发基于透明推理的 AI 系统，不仅能给出真实答案，还能对输出进行安全评估，并监控改进现有 AI 产品，防止其违背人类利益。
在 LawZero 成立之际，OpenAI 正推进从慈善机构向营利性公司转型。XAI 的创始人兼 CEO 埃隆马斯克（Elon Musk）于去年 2 月份就已提起诉讼阻止交易。
某些知情人士透露："OpenAI 创立初衷是确保 AI 造福人类，若利润优先，新结构将剥夺法律追索权，OpenAI 坚持传统架构是筹集资金参与竞争的必要条件。"
本吉奥在采访中直言不信任企业架构的激励机制：" 商业公司为快速增长需吸引投资，投资者追求回报，这导致利益错位，而非营利组织不存在此问题。" 此举可能折射出 AI 行业对技术发展与伦理安全的深层矛盾。
结语：从本吉奥警告到 OpenAI 转型，AI 发展路径争议白热化
AI 的发展日新月异，本吉奥对最新 AI 模型危险特性的警告以及 LawZero 的成立，都反映出当前 AI 领域在追求技术进步的同时，对安全问题的重视日益增加。OpenAI 的转型也引发了关于 AI 发展方向和利益平衡的讨论。
AI 技术的发展既带来了巨大的机遇，有望改善人们的生活质量和推动社会进步；但同时也伴随着诸多挑战，如模型的安全性、可靠性、伦理道德等问题。如何在发展 AI 技术的同时，确保其符合人类的利益和价值观，是整个社会需要共同思考和解决的问题。
