关于ZAKER Skills 合作
智东西 7分钟前

Anthropic CEO 又发长文:1-2 年内迎来高阶 AI,影响力堪比核武器

智东西

编译 | 刘煜

编辑 | 陈骏达

智东西 6 月 11 日消息,今天,Anthropic 联合创始人兼 CEO Dario Amodei(达里奥 · 阿莫迪)发表题为《Policy on the AI Exponential(论 AI 的指数级发展及其政策应对)》的长文称,其高度确信,数年之内,AI 重塑全球格局的影响力将堪比核武器改写地缘政治格局。同时,Amodei 深度剖析 AI 指数化发展的现状,并阐明当下全球亟需采取的联合行动。

Amodei 称谈到,AI 领域的 Scaling laws 预言,只要算力不断增长,AI 的通用认知能力就会呈指数级提升。倘若该趋势再延续一到两年,我们或将迎来 Powerful AI(高阶 AI),也就是 " 一座数据中心内汇聚万千天才 " 的形态。

但 AI 会带来诸多安全风险,受制于当下的现实困境,Amodei 透露,包括 Anthropic 在内的众多安全领域倡导者正提倡:相关信息公开立法、芯片出口管制以及统计 AI 对就业市场影响的数据等。

Amodei 还称,由 Mythos 级模型引发的网络安全风险只是开始。未来 AI 可能被用于研发威胁数百万生命的生物武器,届时顶尖 AI 威胁的不再只是公共安全,而是全人类的存续。

针对这些安全风险,他建议,研发前沿 AI 模型的企业,必须建立完善的安全规范以保护模型权重,同时定期开展红队演练与渗透测试,并配合政府抵御高级别网络威胁。

Amodei 认为,如果 AI 在绝大多数脑力工作上全面超越人类,借助 AI 加速科研、技术迭代与运营提效的能力,经济有望迎来高速、稳定的增长。而 AI 自主迭代、打造更强 AI 的能力,还会进一步放大这一增长动能。

但相较于历次技术变革,AI 对人类脑力劳动的替代范围更广、迭代速度更快。由此 Amodei 推断,AI 对就业市场的冲击,会远超以往历次技术革命,且影响更具持久性。

除此之外,Amodei 还提出,数据中心可能推高能源价格,AI 企业应当承担电价上涨带来的成本,而 Anthropic 也已就此作出了公开承诺。

在该文章发出的同时,Anthropic 同步推出了两套方案。该公司为此投入了相应资金,其中,2 亿美元(约合人民币 13.6 亿元)用于研究框架,1.5 亿美元(约合人民币 10.2 亿元)投向设立奖学金。

文章的核心要点包括:

1、AI 发展速度已远超政府监管速度:Amodei 拿《指环王》中的霍比特人与 Treebeard(树须)做比喻,称当前最大的风险,不是没有监管 AI,而是监管永远慢半拍。

2、AI 已进入国家战略级风险阶段:AI 已经从普通技术,演变成具有地缘政治影响力的战略资源。

3、透明度监管已经不够:曾经 AI 带来的风险尚不清晰,不宜过早制定硬性规则,而现在风险已经显现,AI 治理应从 " 企业自律 " 转向 " 政府强监管 "。

4、未来顶级 AI 可能像 " 核材料 " 一样被管理:Amodei 提出 AI 监管升级路线,包括更严格许可制度、更高等级国家监管以及国际协调控制。当 AI 足够强大时,其治理逻辑将更接近核武器,而非互联网产品。

5、AI 将催生 " 个人独角兽 " 时代:AI 能让个人创办市值数十亿美元的企业。目前已出现仅靠数人团队、依托 AI 实现年收入数亿美元的真实案例。

6、AI 时代最大的经济挑战:这一挑战不是经济增长不足,而是分配失衡。

7、医疗监管体系尚未跟上 AI 医疗创新:现行药审体系基于 " 候选药物大概率无效 " 的保守预设,若不改革,AI 带来的医疗创新浪潮将导致审批机制严重拥堵或超负荷。

8、否认有关 AI 的舆论争议只是公关问题:Amodei 完全不认同这种看法。他认为民众产生担忧,是因为民众真切察觉到 AI 风险的真实性,并非 AI 企业高管的态度不够乐观。

以下是对这篇长文的编译:

一、现有监管举措明显滞后,前沿模型暴露多重安全威胁

在《指环王》的一个支线故事中,两个霍比特人试图唤醒 Treebeard,来保卫自己的森林免遭军队破坏,他是一棵睿智但行动缓慢的有意识树。

但问题在于,Treebeard 的行动速度与霍比特人完全不同。他仅仅和另一棵树打声招呼,就要耗费整整一天,因此要让他和他的同伴迅速采取行动几乎是不可能的。

AI 与我们的政治机构之间的关系,有点像霍比特人与树胡的关系。AI 发展速度极快,仅仅四年时间,AI 模型就从几乎无法写出一行连贯代码,发展到能为主要 AI 公司撰写大部分代码。在生物学、物理学、数学、金融、法律、翻译以及其他许多领域,AI 也取得了类似进展。

AI 领域的 Scaling laws 预言,只要算力不断增长,AI 的通用认知能力就会呈指数级提升。这一规律如今已有十余年实际数据作为支撑。倘若该趋势再延续一到两年,我们或将迎来我所说的 Powerful AI,也就是 " 一座数据中心内汇聚万千天才 " 的形态。

与之相对,政策、尤其是立法工作推进得极为缓慢。这一现象往往事出有因。政府手握巨大权力,行事审慎通常是明智之举,但两者节奏的严重脱节却令人忧心。

美国国会走完立法流程往往需要数年时间,而在这段时间里,AI 可能就从新奇的娱乐工具,演变为真正意义上 " 汇聚万千天才 " 的强大系统。

自 AI 成为主流商用技术以来的数年间,我们这群主张对其进行合规治理的人一直陷入两难境地。

我们能清晰预判指数化发展的走向。我们高度确信,数年之内,AI 将成为少数能够彻底重塑全球政策环境的技术之一。其影响力堪比核武器改写地缘政治格局,亦如同工业革命颠覆所有经济与社会议题。

但在最初,仅从 AI 展现出的能力来看,它不过是一项平平无奇的技术,和当下热门的消费类应用、加密货币相差无几。想要说服绝大多数政策制定者与企业摒弃自由放任的监管思路,绝非易事。

客观而言,由于 AI 的颠覆性影响尚未显现,且其最终形态难以预判,即便各方有心出台监管政策,也很难制定出精准有效的规则。

受制于当下的现实困境,包括 Anthropic 在内的众多安全领域倡导者,目前主要倡导:保留政策调整空间,为未来快速应对风险做好铺垫,同时帮助全球各界提前洞悉潜在趋势。

这一具体方向包括相关信息公开立法、芯片出口管制、统计 AI 对就业市场影响的数据等。这些举措远远不够,但已是现阶段力所能及的全部选择。

然而在过去数月,AI 超强的能力与潜在风险已然不容辩驳。最具代表性的案例便是 Claude Mythos Preview。这类前沿大模型暴露出切实的网络安全风险,有可能扰乱金融体系、关键基础设施运转乃至国家安全秩序。

Mythos Preview 改变了全球网络安全格局。而其更深层的意义在于,它无可辩驳地证明,如今的 AI 模型已然成为具备全球与国家战略影响力的工具。由 Mythos 级别模型引发的网络安全风险,绝不会是我们需要应对的最后一类威胁。

我认为,生物安全风险或将接踵而至,而严峻的 AI 自主失控风险也已近在眼前。

如今,全球各国必须联合行动,启动这套运转迟缓、体系庞杂的政策机制,去应对即将加速蔓延的机遇与风险。

越来越多政策制定者愿意主动采取行动,同行们也逐渐认同我们多年来秉持的主张,这一点令人倍感振奋。但我仍心存顾虑,因为当下出台的初步举措,相比 AI 的飞速发展,至少滞后了一年。

本文旨在弥补这一差距:剖析 AI 指数化发展的现状,并阐明当下全球亟需采取的联合行动。

本文围绕 AI 时代亟需重新规划的政策领域展开论述,包括监管与公共安全、宏观经济与税收政策、科技创新。

由于 Anthropic 是一家美国企业,本文主要以美国政策为探讨对象,但文中大部分建议同样适用于世界其他地区。

伴随本文发布,Anthropic 同步推出一份针对前沿模型测试的立法提案,以及一套应对岗位流失问题的政策框架,我们计划为此投入大量资金推进落地(2 亿美元用于研究,1.5 亿美元投向设立奖学金)。未来我们还将推出更多举措,而这两项内容,是我们展现治理决心的第一步。

二、Powerful AI 或将等同核材料,监管需转向强制约束模式

任何一项新技术、新产品都兼具利弊,创新发展与安全管控之间的矛盾始终存在。对产品实施监管能够降低危害风险,长久以来为改善全球民生发挥了重要作用,但同时也会直接削减技术本身的价值,还会间接打击创新积极性。

奥地利学派经济学家弗里德里希奥古斯特哈耶克( F.A. Hayek)提出过一个观点:监管机构往往缺乏足够信息,难以在复杂的经济权衡中做出正确决策,这就导致监管措施时常收效甚微,还会徒增行业负担。

与之相关的 Collingridge dilemma(科林里奇困境)指出,一项技术的负面影响,往往要等到问题难以管控之时才会彻底显现。

2023 至 2024 年,上述矛盾在 AI 领域表现得尤为突出。Anthropic 早已预判,未来 AI 有可能被用于研发威胁数百万人生命的生物武器,或是出现自主失控行为,极端情况下甚至会危及全人类生存。

但那时风险的具体表现形式、有效的风险检测与缓解方案、实际演化路径都尚不明确。倘若仓促立法,极有可能收效甚微。这些法规可能最终无法有效应对风险,还会制造无意义或低价值的合规要求,同时遗漏真正关键的风险来源。

这一问题并非理论假设。我们在 Responsible Scaling Policy 等企业自主治理框架中,已多次遇到类似情况。

如果为未来 AI 模型制定固定、僵化的安全要求,极有可能出现这样的局面:95% 的合规精力耗费在影响微小的条款上,而真正重大的风险源头,却完全不在预设清单之内。

企业自主规则可以灵活调整,但立法修改流程十分繁琐。针对 2024 年加州 SB 1047 法案(旨在防范极端风险),我曾先后发布两封公开信阐述矛盾态度,原因正是上述困境。

综合考量后,我们认为当时(2023 至 2024 年)最合理的方案是推行透明度监管。

AI 模型研发方必须公开自身的安全管控流程、模型测试细则,并及时上报所有重大安全事故,让公众与科研界能够实时掌握风险动态。待风险形态进一步明晰、特征愈发明确后,依托透明度监管积累的信息,再制定精准的专项法规,直击核心风险。

基于这一思路,2025 年 Anthropic 积极推动透明度相关立法,助力加州 SB 53 法案、纽约州 RAISE 法案、伊利诺伊州 SB315 法案(2026 年初落地)相继通过,同时也在联邦层面倡导建立统一的透明度标准。

时至今日,各类风险已然浮出水面。监管不能再止步于透明度要求,必须针对 AI 推出更严格、具备强制约束力的规则。结合当前 AI 指数化发展阶段来看,最贴切的参照对象是汽车、飞机、药品,这类技术是现代经济运转的基石,可一旦设计或使用不当,便会造成大规模人员伤亡。

因此我认为,AI 监管可参照 FAA(美国联邦航空管理局 ) 的模式。前沿 AI 模型如同飞机,必须经过专业技术检测与审计;若安全标准不达标,为保障公共安全,相关模型的上线部署应当被叫停或撤销。

特朗普政府近期发布的行政令,逐步强化了政府在 AI 监管中的职能,对此我表示认可,而 Anthropic 的提案则主张进一步加大监管力度。我们的提案包含以下要点:

算力超过指定阈值的 AI 模型,必须由具备资质的第三方机构开展强制风险检测,检测聚焦四大领域:网络安全、生物武器、AI 系统失控以及可能加剧上述三类风险的自动化研发行为。

若第三方评估判定模型存在不可接受的风险,政府有权阻止或叫停其部署。该权力仅适用于上述四大风险范畴,同时需设置保障机制,杜绝政策偏袒与主观武断的决策。

第三方评估主体可选择两类:一是类似 FAA 的政府专职机构;二是经政府授权、常态化接受督查的民间机构,采用监管市场化模式开展评测工作。

研发前沿 AI 模型的企业,必须建立完善的安全规范以保护模型权重;定期开展红队演练与渗透测试;并配合政府抵御高级别网络威胁。

上述四大核心领域内发生的安全事故,必须第一时间上报。

或许在不远的将来,我们需要采取更进一步的监管手段。届时 Powerful AI 系统的属性将不再等同于飞机、汽车,而是更偏向可被用作武器的核材料,它们威胁的不再只是公共安全,而是全人类的存续。

一旦走到这一步,现行监管方案便会显得力度不足,需要推出更为强硬的管控措施。举例而言,极端生物安全风险的管控难度远高于网络安全风险。防御方天然处于劣势,且灾难造成的破坏程度也更为惨重。

不过正如 2024 年难以落地如今这套监管规则一样,我们也不必超前布局。政策制定应立足当下已显现的风险,同时搭建完善体系,确保未来新风险出现时,能够快速升级应对举措。

三、Powerful AI 打破经济旧范式,超高增速与就业冲击同步到来

长期以来,各国政府始终面临一项难题,即如何在拉动经济增长的同时,完善公共服务、保障弱势群体权益。

相关讨论中存在一个主流且大体成立的共识,那就是经济增长本身十分脆弱、来之不易。想要缩小贫富差距,往往就要承受加税或财政赤字带来的经济下行压力,二者难以兼得。

我认为,Powerful AI 或将颠覆这一固有认知。如果 AI 在绝大多数脑力工作上全面超越人类,借助其加速科研、技术迭代与运营提效的能力,经济有望迎来高速、稳定的增长。而 AI 自主迭代、打造更强 AI 的能力,还会进一步放大这一增长动能。

但与此同时,相较于以往所有技术,AI 对人类脑力劳动的替代范围更广,技术变革的节奏也更快。由此可以推断,AI 对就业市场的冲击,会远超以往历次技术革命,且影响更具持久性。

我们或将陷入一种困境:经济高速增长与贫富急剧分化并行,而这种局面一旦形成,便很难扭转。在这样的背景下,政策的核心目标不再是刺激增长,而是让全社会共享发展红利。

在本文探讨的所有议题中,AI 引发的宏观经济变化与长期岗位流失问题,受到的社会关注最多,也滋生了最多误解。在此我明确阐明两个核心观点:

第一,长期性岗位流失绝非理想局面,更存在诸多隐患,我们必须尽全力减少、规避这一问题,而非放任其发生。

我在采访与文章中多次提及岗位流失风险,是希望政策制定者与市场主体提前适应、主动应对,并非刻意扮演 " 末日预言家 "。

作为企业,Anthropic 始终携手客户挖掘 AI 全新应用场景、开拓营收渠道,助力企业依托现有团队提升效能,而非单纯削减人力成本压缩开支。我们也持续探索全新人机协作模式,确保在 AI 不断进化的过程中,人类始终占据核心协作位置。

放眼整个社会,各行各业都应积极尝试 AI 新用法,以此催生全新就业形态。不可否认,AI 将创造大量全新经济机遇。我曾预判,AI 能让个人创办市值数十亿美元的企业,如今已有小型团队依靠 AI 打造出营收数亿美元的公司。

但我们必须正视现实:即便各方全力应对,AI 依旧有可能造成大规模、长期性失业。从本质来看,这是因为该技术全面复刻了人类的认知能力。

第二,任何应对 AI 驱动的就业取代,都需要保障民众基本经济收入,更要帮助人们找寻生活的意义、目标与自主价值。后者归根结底更为重要,它涉及社会架构、人生追求、美好生活定义等深层议题。

我始终保持乐观,即便未来 AI 在所有领域都超越人类,人类依旧可以拥有充实的人生,创造震撼人心的美好事物。举例来说,如今人们仍然把毕生精力奉献给国际象棋、围棋或者爬山,尽管机器本可以做得更好,但依旧有人钻研这些领域,从业者也始终受人尊敬。

但这类议题需要全社会共同探索,并非政策能够直接解决。政策能发挥的最大作用,是为社会探索争取时间:延缓失业潮到来,并为受影响人群提供经济保障。

基于上述思路,以下几项政策举措具备一定现实价值:

首先是数据统计与动态追踪。很多人认为单纯的数据收集分析无法匹配问题规模,但脱离真实数据,就不可能制定出有效政策。

Anthropic 已持续一年半追踪用户使用 Claude 的经济数据而政府掌握着企业无法获取的海量信息,应当扩充经济统计维度,精细化追踪 AI 对就业的冲击。

其次是就业扶持激励政策。多项鼓励就业的政策可以缓解失业问题,例如,薪资保险政策、留岗税收优惠(鼓励企业减少裁员)、职业技能培训补贴、搭建用工对接平台以加快劳动力市场适配。

薪资保险的核心作用则是当员工接受降薪转岗时,保险会补足新旧岗位的薪资差额,以此激励民众主动转型、开启新的职业道路,即便短期内需要承受阵痛。

具体方案需结合 AI 引发失业的实际形态而定。即便这类政策会增加成本、带来一定市场低效,也应当推行,因为 AI 带来的生产力提升,足以抵消这些负面影响。

再者是长期宏观经济保障。如果 AI 引发大规模长期失业、市场劳动力需求持续萎缩,仅靠短期激励政策远远不够,需要为大量劳动者建立长期收入保障机制。

全民基本收入可通过向相关企业征税、提高资本利得税等方式筹措资金,全民资本账户也是可行方案之一。总体而言,AI 驱动的经济高速增长,能够为全民共享繁荣提供税收基础。

我之前没提到的 AI 经济关注的一个常见焦点是数据中心,尤其是它们可能推高能源价格。我的观点是,AI 企业应当承担电价上涨带来的成本,Anthropic 也已就此作出公开承诺。而公众对数据中心的抵触情绪,本质上是全社会对 AI 相关经济问题焦虑情绪的外化。

各国必须直面这些深层经济议题,并拿出切实可行的解决方案,否则民众的负面情绪还会借由其他载体爆发。

四、AI 将全面提速医药研发,但漫长药审流程恐堵截医疗创新成果

我们既要平衡 AI 自身发展与安全的关系,也要应对 AI 赋能下其他技术(生物医疗、能源、材料科学等)带来的同类矛盾。

AI 自身带来的风险全新且演变迅速,人类尚无成熟应对经验,而被 AI 加速发展的各类传统领域,则面临另一种困境:现有监管体系诞生于创新节奏缓慢的时代,无法承接 AI 催生的海量新技术、新成果。

同时,AI 能够大幅提升下游技术的安全性与可预测性,这也与 FDA(美国食品药品监督管理局 ) 等监管机构一贯的严谨预设相悖。

因此对于 AI 的下游应用领域,我更担忧监管体系拖慢创新步伐(监管无法适配技术迭代速度),而非监管缺位引发风险。我们绝不能让 AI 的价值潜力被束缚,却任由其风险不断累积,相关改革刻不容缓。

不同科技、商业领域面临的问题与解决方案各有差异,本文选取生物医疗创新作为典型展开分析。一方面,AI 有望在医疗领域创造巨大民生福祉;另一方面,该领域的监管体系也最为复杂。

目前我们虽无法预判 AI 重塑生物医疗的全部细节,但可能出现的趋势包括:

新药候选物进入监管流程的速度将显著提高;依托技术优化与生物学机理深度解析,新药疗效将更强、安全性会更高;为前所未治愈的疾病开发药物候选物;催生出全新治疗手段,如同过去数十年间抗体、多肽、细胞疗法逐步成为主流治疗方案一般。

部分技术进步可自然缩短审批周期,无需重构监管体系。疗效更显著的药物,可开展规模更小、成本更低的临床试验,适用加速审批通道。但现有监管体系的设计逻辑偏保守,默认候选药物大概率疗效不佳,或是存在严重安全隐患,因此设置了多层级、高标准的审查流程。

目前,一款新药走完 FDA 与 EMA(欧洲药品管理局 ) 的全审批流程,平均耗时 7 至 8 年,这在一定程度上正是源于上述保守预设。若监管体系不改革,AI 带来的医疗创新浪潮将导致现有审批机制拥堵或超负荷。

当然,改革绝不等于放宽标准,我们要杜绝劣质药物流入市场、避免大规模安全事故。但一系列适度改革,就能让 FDA、EMA 等机构适配 AI 驱动的医疗高速发展。

以往需要高昂成本、漫长周期开展的临床实验环节,未来可借助 AI 模拟与数据分析完成。监管机构应当提前制定标准,认可这类新型技术手段。待技术成熟后便可直接落地,无需继续沿用老旧的硬性测试要求。可落地的场景包括:

基于 AI 的 PD 和 PK(药效学与药代动力学 ) 建模分析;毒性预测技术,减少多物种动物毒性实验;精准剂量测算,缩减临床试验的剂量梯度测试环节;依托大数据分析完成生物标志物验证;临床试验采用虚拟对照组,减少受试者招募数量;研发替代终点指标(对于衰老、神经退行性疾病领域尤为重要)。

除上述具体举措外,监管机构还应探索更灵活、更具突破性的加速审批机制。若我对 AI 发展趋势的判断无误,未来会不断涌现效果极佳的全新医疗方案,监管体系必须摒弃过度怀疑的态度,正视这类创新成果。

医疗领域的提速发展,不仅能放大 AI 的正面价值,也有助于降低 AI 自身风险。医疗审批体系改革可强化生物安全防御能力,AI 推动的心理健康领域进步,也能起到稳定社会秩序的作用。

五、公众焦虑源于真实安全隐患,需要提前完善 AI 治理体系

AI 的指数级进步,带来了前所未有的变革速度与紧迫挑战,传统政策制定体系本难以适配这样的节奏。但与此同时,我们也迎来了一段独一无二的机遇期。

如今,AI 的风险已清晰显现,其创造经济价值、冲击现有产业的潜力也初步展露,公众普遍反对放任 AI 无序发展。多重因素叠加之下,政策制定者更愿意主动布局长远规划。Treebeard 与他守护的森林,终于迎来了觉醒。

AI 行业内有一种流行观点:当下的舆论争议只是公关问题,AI 需要 " 更好的品牌宣传 "。我完全不认同这种看法。民众产生担忧,是因为他们真切察觉到 AI 风险的真实性,并非 AI 企业高管的态度不够乐观。

作为 AI 行业从业者,我有责任如实披露风险。而公众基于真实信息产生的担忧,正是民主监督正常运转的体现。当下的核心任务,是将民众的关注转化为可行的解决方案,避免负面情绪演变为无差别对立与冲突。

我对问题的解决保持乐观态度。从模型上线前检测、芯片出口管制,到就业问题应对、能耗管控等一系列 AI 相关议题,相关解决方案能够获得不同政治立场群体的普遍认同。

一个务实且值得期待的未来正在前方:跨党派群体正视 AI 带来的挑战,携手推动政策落地,让规则制定速度突破传统桎梏。行动越早,全人类就能越早共享 AI 带来的巨大价值。

来源:《Policy on the AI Exponential》—— Dario Amodei

觉得文章不错,微信扫描分享好友

扫码分享

企业资讯

查看更多内容