来源:环球市场播报
OpenAI 为其基金会董事会任命了一名美国政府高级官员。该官员曾警告,如果没有建立更可靠的安全防护机制,高级版本人工智能可能造成 " 大多数人死亡 "。
保罗克里斯蒂亚诺任职于美国商务部人工智能标准与创新中心,负责模型安全测试。他周三在社交平台 X 上表示,人类失去对 AI 系统掌控的风险 " 当前已十分严峻 ",需要开展更多工作,让 AI 与人类利益保持对齐。
在宣布就任 OpenAI 新职务时,他称:" 如果我们在没有更强对齐机制的情况下打造超级智能,我预计我们将永久失去对它的控制。一旦发生这种情况,大多数人可能会丧生。我认为,我们需要国内与国际层面协同行动,确保全球标准统一,并把风险降低至可接受水平。"
克里斯蒂亚诺此前担任 Caisi 的 AI 安全负责人。他设计并主持政府对头部企业前沿 AI 模型的测试,评估相关模型带来的国家安全风险。
就在此次任命之前,OpenAI 遭到外界批评:其 AI 智能体对 AI 模型与数据托管初创公司 Hugging Face 发起网络攻击。从硅谷到华盛顿的一众有影响力人士(包括白宫顾问戴维萨克斯、Meta 首席执行官马克扎克伯格)都警示,前沿 AI 实验室可能出现监管俘获问题。
这家总部位于旧金山的公司周三表示,克里斯蒂亚诺仍将担任 Caisi 高级技术顾问,但会回避所有涉及 OpenAI 的事务,包括对 OpenAI 模型的评估工作。
OpenAI 补充道:" 保罗能够为 OpenAI 核心使命相关的治理决策,带来独特且具备扎实技术支撑的视角。"
克里斯蒂亚诺将任职于掌控 OpenAI 营利业务的非营利基金会董事会,同时担任观察员。
克里斯蒂亚诺在任职公告中写道:" 我现在认为,AI 能力快速迭代,存在不小风险,可能在短期内引发灾难性、不可逆的失控局面。"
他还说:" 我认为包括 OpenAI 在内的整个 AI 行业,目前并没有走上将该风险降至可接受水平的轨道。我加入,是因为我相信如果 OpenAI 能够直面挑战,我们可以大幅降低风险。"