刚刚，深度学习三巨头之一、图灵奖得主Yoshua Bengio 官宣再次创业——
成立非营利组织 LawZero，要构建下一代 AI 系统，而且明确不做 Agent。
目前 LawZero 已通过多家慈善捐赠方筹集到了 3000 万美元启动资金。
所要做的 AI 系统非 Agent 形态，而可以监督 Agent：
它以理解学习世界为核心目标，而非在世界中采取行动，通过透明化外部推理，对问题提供可验证的真实答案，" 可用于加速科学发现、为 Agent 型 AI 系统提供监督，并深化大家对 AI 风险及其规避方法的理解 "。
Bengio 表示，当前 AI 系统已显现出自我保护和欺骗行为的迹象，随着其能力和自主性的提升，这种趋势只会加速，LawZero 是他们针对这些挑战所给出的建设性回应。
经常有人问我，对 AI 的未来是乐观还是悲观？我的回答始终是：It doesn ’ t matter（无关紧要）。
唯一重要的是，我们每个人都能采取行动，推动 AI 向更好的方向发展。
LawZero 总部位于蒙特利尔，最初由非营利机构 Mila-Quebec AI Institute 启动孵化，Mila 现已成为 LawZero 的运营合作伙伴。
LawZero 所筹集的捐赠资金，也是在项目孵化阶段通过 Mila-Quebec AI Institute 进行的。
其首批支持者包括 Future of Life Institute、Open Philanthropy、Silicon Valley Community Foundation、前谷歌 CEO Eric Schmidt 创立的研究机构 Schmidt Sciences 等。
几个月前，Bengio 曾发表过一篇长达 58 页的论文探讨 Scientist AI。
该系统包含两大组件：世界模型、推理机。
世界模型能够通过观察数据生成因果理论，以此解释数据背后的规律，构建对物理与社会规律的结构化理解，其运作机制类似于科学家通过观察自然现象提出假说并构建理论体系。
推理机则是一个问答推理机制。二者均以明确的不确定性概念为基础，以降低因过度自信的预测引发风险的可能性。
Scientist AI 输出仅限于对问题的概率性解释和基于理论的逻辑推断，而不具备自主行动的能力，由此来从根本上杜绝因目标追求和环境干预引发的风险。
Bengio 团队表示，Scientist AI 可在以下三个核心领域发挥作用：
作为对抗危险 AI 的安全护栏
针对表现出自我保护、目标偏离、欺骗等倾向的 AI 系统，Scientist AI 可通过双重验证机制防范灾难性后果。
在高能力 Agent 型 AI 执行现实行动前，对其行为进行风险评估，若超过预设阈值则直接阻断。这一机制可有效遏制当前前沿 AI 因自主性增强而日益凸显的不可预测性风险。
作为加速科学发现的可信工具
不 " 以取悦人类为训练目标 "，Scientist AI 可生成诚实且可论证的解释性假设，尤其在生物学、材料科学、化学等领域，可规避传统 AI 因 " 目标对齐偏差 " 导致的研究风险，开启低风险加速探索的新范式。
作为安全开发强 AI 的底层基建
可作为值得信赖的研究与编程工具，通过其透明化推理框架，为强 AI 的开发建立可审计的安全边界，从源头阻断 " 欺骗性 Agent" 的风险传导，助力设计安全的人类级智能，乃至安全的超级人工智能（ASI）。
职业生涯剩余时间全部投入 AI 安全
Bengio 最新创业引来不少网友关注，也引起了网友对其上次创业的讨论。
确实，Bengio 并非第一次创业。
2016 年 10 月，Bengio 曾和 Jean-FrancoisGagn é 等人联合成立Element AI，主要聚焦 " 人工智能战略咨询 "、" 专家匹配 " 和 "AI-as-a-Service"（AIaaS）。
Element AI 曾一度成为 " 全球最大独角兽 " 之一，仅仅成立 9 个月就筹集了 1.02 亿美元的风险投资，不到 4 年时间里，融资约 2.6 亿美元，微软、英特尔、麦肯锡、加拿大政府等大型机构均为其资方，估值高达 12 亿美元。
不过，令人唏嘘的是，2020 年 Element AI 传来 " 仅以 2.3 亿美元被抛售 " 的消息。《环球邮报》认为，这家公司大肆招聘顶尖人才、大量进行宣传投资的行为，与它建立软件业务的初衷背道而驰。
连 Bengio 本人都否定了 Element AI 的价值。
2023 年初，ChatGPT 刚刚问世几个月，Bengio"AGI 发展缓慢而漫长，需几十年的时间才能实现 " 的观点开始转变。私人实验室在 AGI 及更先进技术方面已经取得的进展，让他感到担忧。
之后 Bengio 彻底重新调整了科学研究方向：
职业生涯剩余的时间全部投入到缓解这些风险上，努力探索一条能从设计上让 AI 变得安全的道路。
目前网友对 LawZero 持谨慎观望态度，毕竟 OpenAI 最初也是以非营利组织起家……
更有评论者直言：
LawZero 项目成功必然会将人类的主动权转移给机器人，而这是应竭力避免的趋势，而非加速推动。
参考链接：
[ 1 ] https://lawzero.org/en/news/yoshua-bengio-launches-lawzero-new-nonprofit-advancing-safe-design-ai
[ 2 ] http://arxiv.org/pdf/2502.15657
[ 3 ] https://news.ycombinator.com/item?id=44174643
— 完 —
量子位 AI 主题策划正在征集中！欢迎参与专题365 行 AI 落地方案，一千零一个 AI 应用，或与我们分享你在寻找的 AI 产品，或发现的AI 新动向。
也欢迎你加入量子位每日 AI 交流群，一起来畅聊 AI 吧～
一键关注 点亮星标
科技前沿进展每日见
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
