他指出，随着 AI 的快速进步，人类可能很快就会获得几乎无法想象的力量，但是当下的社会、政治和技术体系是否具备驾驭这种力量的成熟度，却是一个未知的问题。
他强调，尽管存在不确定性，我们必须采取果断而谨慎的行动来应对可能的风险，并且认为，如果我们采取正确的措施，就有可能克服这些挑战。
文章近 2 万多字，Amodei 试图从 AI 模型自身风险、个人和组织风险，国家层面风险，以及经济和社会层面的风险等多个维度展开论述。
AI 竞争愈加激烈，难以重视自主性风险
Amodei 认为 AI 模型存在一定的自主性（Autonomy）风险。同时，他批判了两类极端立场：一类是认为 "AI 不会有问题 "：AI 只是被训练来执行指令，就像扫地机器人不可能突然想杀人，因此 AI 造反是科幻；
还有一类是认如果将 " 尽可能地获得权力 " 作为关键策略，那么 AI 就会概括出同样经验以寻求权力作为完成任务的手段，这种倾向也会应用到现实世界中。一旦 AI 获得自主意识且足够智能，它们将削弱甚至毁灭人类。
他认为，出现这种立场，其实是忽视了大模型训练中带有的 " 人格面具 " 以及模型生成的不可预测性。
Amodei 指出，应对自主性风险，实现对齐和可解释性是最为有效的：
一是发展可靠的 AI 模型训练和引导技术；
二是发展可解释性，可以尝试将模型的神经元、突触与刺激、行为等关联起来，类似于神经科学对大脑的理解，识别出 " 特征 " 并选择激活某些特征来改变行为；
三是完善在线监测和事件报告；
四是通过产业与社会协同，通过立法制定直接影响 AI 公司的行为，因为当下 AI 公司竞争激烈，将越来越难以重视自主性风险。
AI 权力滥用
这个篇章 Amodei 将 AI 风险从个人或组织上升至国家层面，像 AI 武器、监控系统、舆论影响、外交与军事战争等。
不过，Amodei 赞同了美国对中国进行的芯片出口管制，" 我们绝对不应该向中国出售芯片、芯片制造工具或数据中心。"
在他看来，芯片是发展 AI 的最大瓶颈，芯片出口管制是简单却非常有效的措施。中国在尖端芯片的量产能力比美国落后数年，而打造数据中心强国的关键时期可能就在未来几年。
Amodei 认为，强大的 AI 有望大幅提升国家外交、军事战略、研发、经济战略以及许多其他领域的效率。
例如，一些即便自身不开发前沿模型，但如果能通过本国数据中心大规模运行大模型的国家，也存在算力滥用的风险。
A 将短期冲击劳动力市场
Amodei 认为 AI 将带来经济的大幅增长，包括科学研究、生物医学创新、制造业、供应链、金融体系效率等方面的进步，" 持续保持 10% 至 20% 的年均 GDP 增长率是有可能的。"
他判断的依据在于：一是 AI 发展速度之快，远超此前任何一次革命；二是随着 AI 越来越接近于人类的一般认知能力，AI 不是取代特定的工作，而是取代人类的一般认知劳动。
Amodei 还注意到，AI 还在影响那些有一定内在 know-how 的人，因为 AI 正朝着能力阶梯逐级发展，同时 AI 也能快速弥补短板，它每次发现问题能够很快被修正。
他认为，劳动力市场或许有足够的韧性来适应如此巨大的冲击。但即便最终能够适应，上述因素也表明，短期带来的冲击影响面将是前所未有的。
此外，Amodei 还担忧 AI 还将带来财富过于集中，比如一个数据中心 " 天才之国 "。目前 AI 数据中心已经占美国经济增长的很大一部分，大型科技公司也越来越专注于 AI 或 AI 基础设施建设。
AI 编码≠软件工程
作为一家在 AI 编程领域颇有影响力的公司，Anthropic 的 AI 编程工具 Claude Code 和模型 Claude 3.7 Sonnet 擅长编码任务。
同样在这篇文章中，Amodei 指出 AI 编码目前承担了 Anthropic 的大部分编码工作，显著加快其构建下一代 AI 系统的节奏，或许只需要一两年，新一代 AI 就能自主构建下一代 AI。而此前两年，AI 模型几乎无法编写一行代码。
不过，在他看来，" 编写所有代码 " 和 " 端到端完成软件工程师的工作 " 是截然不同两件事。因为后者的工作远不止编写代码，还包括测试、环境、文件安装、IT 云部署、产品迭代等。（作者 | 杨丽，编辑 | 盖虹达）
全文地址：https://www.darioamodei.com/essay/the-adolescence-of-technology#humanity-s-test
