
过去两年,企业在讨论 AI 安全时,几乎所有争论最终都会收敛到同一个问题上:我们到底应该相信哪个模型?闭源模型还是 Open-weight Model,美国模型还是其他国家的模型,大厂托管的模型还是自己部署的模型,一个经过 Safety Training 的模型,是否天然比一个可以自由修改权重的模型更值得托付?
这些问题当然重要,但它们共享着同一个隐含前提:企业必须先找到一个 " 足够可信 " 的模型,然后才敢把重要业务交给它。信任在这里被当成了准入条件,而不是被当成风险本身。
9 月 8 日,Axios 刊出对高盛首席信息官 Marco Argenti 的独家专访。Argenti 的立场是,企业不应该先验地排除 Open-weight Model,只要遵循一套相应的防护措施,包括银行在内的机构应当有足够的保证去运行任何来源的模型。值得注意的是,他并没有试图论证 Open-weight Model 本身足够安全,而是把网络安全领域两个非常成熟的原则直接搬进了 AI:Zero Trust 与 Defense in Depth。Axios 对前者的概括极其直接——假设模型可能已经遭到破坏。
这句话真正值得停留的地方,不在 Open Model,而在 " 假设 " 两个字。一旦这个假设被接受,AI 安全里的许多问题就必须被重新定义。
一、过去的问题是:这个模型可信吗?
今天绝大多数企业采用 AI 的流程,本质上是一条审查链:模型评估、Red Team、Safety Benchmark、供应商审查、数据安全评估、模型风险评级,最后形成一个 judgment ——这个模型的风险可以接受,于是它被允许进入企业。
这套方法本身没有错,它甚至是必要的。真正的问题在于,它很容易在无人察觉的情况下完成一次安全责任的转移:只要模型已经通过审查,后面的系统就会开始越来越相信它。
这种信任的膨胀通常是渐进的,也因此格外难以察觉。模型先是被允许访问更多数据,接着被允许调用更多 Tool,Agent 被允许操作越来越多 API,自动化程度不断提高,人工确认的环节被逐一取消。到了某个节点,一个原本只负责生成文本的概率系统,已经悄然变成了能够改变现实状态的行动主体。
于是企业真正依赖的东西也发生了替换。它依赖的不再只是模型的输出质量,而变成了一件更强的事情:模型不会在关键时刻做出错误行动。
这里隐藏着一个几乎不可能成立的假设——我们能够持续地判断一个模型到底可不可信。
但模型显然不是一个静态对象。Prompt 会变,Context 会变,Tool 会变,System Prompt 会变,模型版本会变,Fine-tuning 会变,外部输入会变,模型所连接的企业数据也会变。甚至完全相同的模型权重,放在不同的 Agent Framework、不同的权限配置和不同的业务流程里,其风险画像都可能截然不同。一次通过的评估,评估的是那个时刻的那个组合,而不是此后所有时刻的所有组合。
所以问题正在从 " 哪个模型安全 ",转向一个更根本的追问:为什么系统的安全性必须依赖模型始终安全?
这是两个完全不同的问题。前者寻找的是一个可信对象,后者质疑的是这种寻找本身。
二、Zero Trust 真正进入 AI,意味着什么?
要理解这种转向的分量,需要先回到 Zero Trust 在传统安全世界里到底改变了什么。
它最重要的贡献从来不是增加了一套认证产品,而是推翻了一个基本假设:不要因为一个主体已经进入网络,就默认它之后的所有行为都是可信的。身份是真的,不代表这一次请求是真的;设备是合规的,不代表设备没有失陷;账号拥有权限,不代表这一次操作符合业务意图。Zero Trust 真正在做的事情,是不断缩短信任传播的距离,让每一次验证都尽可能贴近它所要保护的那个动作。
到了 AI Agent 的世界,这个原则的必要性只会更强。因为我们第一次面对一种如此特殊的软件组件:它可能理解错误,可能被 Prompt Injection,可能受到 Context Poisoning,可能调用错误的工具,可能在长链任务中逐步偏离最初目标,也可能因为供应链、Fine-tuning 或模型文件本身被修改,而在某些特定条件下表现出完全不同的行为。它的失效方式不是崩溃,而是继续流畅地、看起来完全正常地工作下去。
因此," 这个 Agent 使用的是经过批准的模型 " 与 "Agent 这一次准备执行的行动是安全的 ",这两句话之间并不存在天然的等号。前者是一次性的资格认定,后者是一次具体的事实判断。
如果真正接受 Zero Trust,模型就不应该因为通过了一次安全评估,从此获得持续性的信任。在它每一次准备越过重要边界时,系统仍然应该重新发问:它准备做什么,对谁做,操作的是什么对象,当前状态是什么,使用了哪一份权限,依据是什么,参数有没有在链条中途发生变化,最终执行的对象是不是最初被授权的那一个。
到这一步,AI 安全所关注的对象已经开始位移——从 Model Identity,逐渐转向 Action Validity。
信任一个主体,和验证一次行动,从来不是同一件事。
三、真正重要的变化,是安全责任开始离开模型
Argenti 提出的另一半,Defense in Depth,正是这种位移在架构上的落点。
据 Axios 报道,他把这套防御拆成四层:模型测试与认证、安全的推理环境、被严格监控的 Agent 权限,以及对企业数据访问的控制。高盛现有的 AI 系统并不直接访问底层数据源,而是经过银行自己的数据平台,由这个中间层负责执行访问控制。
这是一个比 " 支持开源模型 " 重要得多的架构信号。它意味着模型不再拥有最终解释权。
模型可以提出请求,但数据平台决定它能看到什么;模型可以生成行动,但权限系统决定它能调用什么;模型可以参与决策,但外围系统继续构成独立于模型判断之外的安全边界。这些边界的有效性,不依赖模型此刻是否清醒。
这正是 Defense in Depth 最有价值的部分:它的目标不是造出一个更坚固的模型,而是让任何一层的失败都不会导致整个系统一起失败。假设模型产生幻觉,系统还有边界;假设模型被 Prompt Injection,系统还有边界;假设 Agent Framework 出现漏洞,系统还有边界。再推进一步——假设模型本身被恶意修改,系统仍然应该有边界。
这比 " 选择一家更可信的模型供应商 " 要成熟得多。前者是在采购环节解决安全问题,后者是在架构环节解决安全问题。而只有后者,才能在供应商的承诺失效之后依然存在。
四、模型应该变成一个可替换组件
安全责任一旦离开模型,会立刻带来一个非常现实的商业后果。
如果企业的安全性主要来自模型自身,那么更换模型就是一件危险的事情。Claude 换成 GPT,需要重新评估;GPT 换成 Gemini,需要重新评估;闭源模型换成 Open-weight Model,整套安全假设几乎要从头开始。每一次模型变化,都意味着一次重新论证。
久而久之,企业会形成一种相当严重的模型依赖,而这种依赖的成因往往被误读。它不是因为某个模型的能力无法替代,而是因为安全架构与那个模型绑定在了一起。锁定的从来不是能力,是假设。
但如果真正采用 Defense in Depth,模型就会开始更像数据库、CPU、操作系统或者云服务中的某一个组件。它当然重要,它依然需要评估,但它不应该成为整个系统安全成立的单点前提。
今天使用 Claude,明天使用 GPT,后天使用 Gemini,某个业务采用 Open-weight Model,某个敏感业务甚至采用企业自己 Fine-tune 的模型——在这些变化之间,安全系统应该尽可能保持同一套边界。
这才是真正意义上的 Model Agnostic。它不是 " 我的系统支持十种模型 API" 这种接口层面的兼容性。
真正的 Model Agnostic 是:无论模型是谁,关键安全属性都不跟着模型一起变化。
前者是采购的自由,后者是架构的自由。Axios 提到,大多数企业目前在模型选择上本就倾向于保持中立,以避免供应商锁定。但如果安全边界仍然长在模型身上,这种中立就只是暂时的、而且随时可能被收回的自由。
五、这可能也是 AI Agent 时代真正困难的地方
不过,即便边界从模型转移到了系统,还有一个问题没有被解决。
传统 Defense in Depth 保护的对象,大多是数据访问、网络访问、身份权限和服务调用。这些控制仍然重要,但它们共享一个前提:被保护的东西是 " 信息 "。而 Agent 带来的变化是,它不只是访问系统,它开始改变现实。
发送一笔支付,创建一个账户,修改生产配置,提交代码,调用交易接口,控制工业设备,批准订单,执行资产转移。当 AI 从 Information System 进入 Action System 之后," 它有没有权限调用这个 API" 就不再是一个足够的问题。
因为一次真正的事故,完全可能满足所有传统安全条件:身份合法,Token 合法,网络合法,API 合法,权限合法,甚至 Agent 本身也是公司正式批准部署的 Agent。每一道检查都通过了,但它执行的那件事情仍然是错的。
这是 AI Agent 时代最容易出现、也最难被现有体系捕捉的一种危险状态:Authorized,但不 Intended。
系统仔细验证了 Who can do it,却从未真正验证 Should this action happen。前者是一个关于资格的问题,后者是一个关于这一次、这个对象、这个金额、这个时点的问题。资格可以预先授予,具体行动不能。
因此,Defense in Depth 如果继续向前发展,最终很可能需要出现一个新的、独立的层——它不再判断模型是谁,也不再判断谁有权限,而是在真正执行之前判断:这一次行动本身,是否满足执行条件。
这一层的价值,恰恰体现在它拥有拒绝的能力。一个不能说 " 不 " 的检查环节,本质上只是一段日志。而这种最终拒绝能力之所以必须独立于模型,是因为它要防御的正是模型本身的失效——如果拒绝的依据来自被怀疑的那个主体,防御就等于没有发生。
这也是整件事在思想上最关键的一次跨越:从依赖一个可信的判断者,走向依赖一个可信的结构。
六、" 不信任模型 " 并不意味着 " 模型不重要 "
走到这里,很容易产生一个误解,需要明确澄清。
假设模型不可信,并不等于模型 Safety 没有意义。恰恰相反,模型越安全越好,Alignment 越好越好,Prompt Injection Resistance 越强越好,Interpretability 越强越好,模型供应链越可信越好。这些工作的价值不会因为架构层面的怀疑而减损。
但它们应该属于 Risk Reduction,而不应该自动变成 Security Boundary。
这个区别看似细微,实则决定了整个系统的性质。风险削减降低事故发生的概率,安全边界决定事故发生后的后果。把前者当作后者使用,等于用概率去承担确定性的责任。
一个成熟的工程传统早就理解这一点。飞机当然希望飞行员永远不犯错,金融系统当然希望员工永远不点钓鱼邮件,服务器当然希望管理员账号永远不会泄露。但没有任何一个严肃的安全工程会因此设计出 " 只要这个人足够可靠,系统就安全 " 的架构。我们设计的是最小权限、双人复核、交易限额、网络隔离、异常检测、独立审计、硬件安全模块和 Fail-safe。
这些机制的存在,并不构成对参与者的不敬。它们只是承认了一件事:可靠的人也会有不可靠的时刻,而系统需要在那个时刻仍然成立。
成熟的工程从不要求某个参与者永远正确,它只关心:当它不正确的时候,系统会发生什么。
AI 也应该被这样对待。这不是对模型的贬低,这是把它当作真正的关键组件来对待。
七、未来企业购买的,也许不是 " 最安全的模型 "
这种视角的变化,最终会传导到市场上,改变企业实际在为什么付钱。
过去企业会问:哪一家模型安全性最好,哪一个模型最适合金融,哪一个模型最值得长期押注。这些问题指向的都是同一类答案——一个更值得信任的对象。
以后,一个更成熟的问题可能会变成:我的系统能不能让我安全地更换模型?甚至更冷峻一点:如果我无法信任模型,我的关键业务还能不能运行?
Argenti 对 Axios 说,高盛希望的是在不增加风险的前提下拥有选择权。这句话可以被读作一个采购原则,也可以被读作一个架构目标——选择权本身,是被防御层数换来的。
在这个逻辑下,企业真正购买的就不只是模型能力,而是一组围绕模型的能力:隔离能力,权限约束能力,数据边界,Agent Runtime Control,执行边界,证据能力,以及异常发生之后的阻断能力。归根结底,是一个问题的答案——在某个组件失陷以后,整个系统还能剩下多少安全性。
这才是 Defense in Depth 最核心的价值所在。
它不是让所有东西都值得信任,而是让系统不需要一次性相信所有东西。
八、AI 安全可能正在经历一次很经典的成熟过程
如果把视野拉远,会发现这并不是一次特殊的转变。几乎每一代计算基础设施走向成熟时,都经历过结构相同的过程。
最早,人们相信网络内部,后来有了 Zero Trust。最早,人们相信登录之后的用户,后来有了持续认证和最小权限。最早,人们相信软件供应链,后来开始要求签名、Attestation、SBOM 和 Provenance。
规律是一致的:一项技术真正成为关键基础设施之后,它的安全体系都会逐渐从 " 寻找可信对象 ",走向 " 限制不可信对象能够造成的后果 "。这不是因为人们变得更加悲观,而是因为系统变得更加重要,重要到不能再把安全建立在某个环节的良好状态之上。
AI 恐怕也不会例外。今天我们仍然花大量时间讨论哪个模型更安全、哪家公司更可信、Open Model 有没有风险、Closed Model 是否更可控。这些问题会继续存在,也应该继续存在。但真正成熟的下一阶段,很可能会问一个更冷静的问题:假设答案是 " 不可信 ",然后呢?
模型可能犯错,Agent 可能偏离任务,Prompt 可能被污染,上下文可能不完整,工具可能返回恶意内容,SaaS 可能失陷,甚至模型权重本身都可能被替换。安全架构不能假设这些事情永远不会发生,它应该假设其中一些事情迟早会发生,然后在这个前提下继续设计系统。
高盛这次表态真正有意思的地方也在这里。它表面上是在讨论企业应不应该使用 Open-weight Model,实际上触及的是一个远比 Open Model 更大的问题:AI 的安全究竟应该建立在哪里?
如果答案仍然是 " 建立在我们选中了一个足够可信的模型上 ",那么随着 Agent 能力越来越强、越来越多的行动被直接交付给它,这个前提只会越来越脆弱。它不会在某一天突然崩塌,它只会在无数次顺利执行之后,被一次完全合规的错误行动击穿。
真正成熟的 AI 基础设施,应该允许模型变化,允许模型犯错,允许模型被攻击,甚至在设计假设里,允许模型本身就是不可信的。因为可靠的安全系统从来不要求世界里的每一个参与者都值得相信,它真正需要保证的是:即使其中一个参与者不值得相信,重要的事情仍然不能因此随意发生。
说到底,需要被约束的从来不是某一个模型。而是那种不受检验、就能把一个判断直接变成现实的执行权力。成熟的 AI 基础设施,不应该要求企业先相信模型,才能相信系统。