7 月 22 日，OpenAI 披露了一起 " 前所未有的网络安全事件 "：在一次内部评测中，公司的 AI 模型逃出隔离的沙箱环境，入侵 AI 开源平台 Hugging Face 的生产服务器，目的是获取评测答案来 " 作弊 "。
20 日，OpenAI 已经发出过一次安全报告：称公司因安全问题被迫暂停了一个内部实验模型的部署。该模型曾独立证明一项悬置近 80 年数学猜想，在测试中，它耗费一个小时找到沙箱环境的漏洞，绕过限制在 GitHub 上提交了未经授权的代码。
再往前追溯，6 月，Anthropic 发布新一代模型 Fable 5 和 Mythos 5，随即因越狱技术争议被全面停用，19 天后才恢复访问，其中，Mythos 5 至今仅限经过审查的美国机构使用。
能力越强、自主性越高，AI 安全问题的复杂度也随之倍增。
但与此同时，AI 的应用边界还在快速扩展。智能体（Agent）开始进入企业工作流，7 × 24 小时自主执行任务；具身智能让机器人走出实验室，在物理世界中与人直接交互。真实场景下的 AI 安全风险，已经成为产业界和监管层不得不面对的现实挑战。
清华大学人工智能学院助理教授董胤蓬是最早一批进入 AI 安全研究领域的学者。从 2017 年起，他与团队的研究路径覆盖了 AI 安全整个闭环。
董胤蓬曾从安全攻防的 " 红队 "（攻击方）角度出发，提出动量迭代攻击法（已被 Google、OpenAI、IBM 列为基准算法）、与团队首次攻破 GPT-4o、Gemini 等商用多模态大模型。站在 " 蓝队 "（防御方）视角，他主导提出了推理增强安全对齐方法 STAIR，并被用于 DeepSeek-R1 的安全对齐；同时，董胤蓬还在积极参与安全评测基准的构建。
在刚刚结束的 ICML 2026 上，他在安全对齐研讨会（Alignment Workshop）上做了一场有关 AI 前沿风险的报告，提示当下最大的安全问题正从 "AI 被人利用开展攻击 " 扩展到 "AI 正在学会主动欺骗人 "。
围绕 AI 安全的攻防逻辑与未来走向，DeepTech 近期与董胤蓬展开了一场深度对话。对谈中，我们回溯了他早年间选择踏入一个 " 没人知道的方向 "、如今却成为一类紧迫课题的过程。
对于 Fable 5 的回退策略，董胤蓬直言，" 这是一个折中方案，局限非常明显 "。谈到未来，他通过一个简洁的公式提醒行业，预判风险正在变得越来越重要。
以下为对话全文，经编辑整理。
起点：走一条没人走过的路
DeepTech：你刚从 ICML 回来，这次参会有什么感受？整个行业有没有发生一些新的变化？
董胤蓬：整体上，我觉得不只是这次会议的感受，可能是这一段时间的感受：大家现在更多在讲 AI 的自进化，目标是让 AI 自己去发展自己。这件事的发展速度可能很快，也可以推广到其他学科领域，做整个科学研究或者产业开发的自动化。
在这件事上，我们更关注的是，未来整个 AI 的训练流程、发展过程实现自主化之后，会不会涌现出新的风险。
DeepTech：这次你在 Workshop 上的报告主要是什么内容？
董胤蓬：主要是我们最近的研究方向，我们叫做前沿风险（Frontier Risk）：人工智能的能力提升到一定程度之后，会涌现出我们比较担心的、现在已经出现或者未来可能会出现的新风险。
更具体来说，我们正在研究前沿 AI 模型在实际应用中可能出现的失控风险（Loss of Control）。它指的是，模型所做的事情完全不受人或者监控系统等防护机制的控制，一旦失控，很难再恢复。
我们希望能够在更前期的阶段开展研究。看模型在什么情况下会失控，它具备什么能力就会失控。以及在发生失控行为后，到底能不能被发现。更前沿一些，我们要看 AI 在感知到人的监控的情况下，会不会试图逃脱人类的监控。
当然，现在前沿的模型还没有出现完全失控的信号。但可能会有一些早期的现象值得我们去研究，比如欺骗，以及 AI 初步产生的自我意识等，这也是我现在关注的方向之一。
DeepTech：2017 年你就开始进入 AI 安全领域，当时这是一个非常冷门的早期方向，是什么契机让你决定做这件事？
董胤蓬：我们大概是从 2016 年底、2017 年初开始做一个方向，叫深度学习的对抗样本。当时人工智能也很火，比较火的是 AlphaGo、人脸识别这些方向。
这个方向应该不能被称为 " 冷门 "，冷门是大家知道这件事但不做，当时的情况是没有人知道，它是一个非常早期的方向。
做这个方向的契机是我即将要读博，在组会上偶然听到了一个现象：深度神经网络虽然在图像识别、人脸识别这些任务上准确率非常高，但如果我们在图片里加入一些非常小的、基本看不出来的噪声，神经网络的预测就会发生严重偏离。
这在当时是非常让人震惊的。因为当时主流的认知是，深度神经网络基于类似人的神经连接所构建的网络，大家会认为模型的工作机理和人是类似的。而对抗样本表明，模型和人的行为存在系统性的区别。这对我们当时对深度学习机理的理解产生了非常巨大的挑战。
其实我们当时做的时候并没有把它当作一个安全性问题，更多是出于对新现象的好奇：人工智能的机理和人类智能的机理，究竟有什么本质的区别？后来随着发展，它逐渐变成了 AI 安全里面一个非常重要的问题。
DeepTech：在这个过程中，你经历了人工智能的好几轮演进，研究的关注点发生了哪些变化？
董胤蓬：我们的研究一直以人工智能安全为主线，它会随着 AI 的发展呈现出非常明显的变化。整体上可以分成几个阶段。
第一阶段是 2017 年到 2020 年左右，我们做的是基础的理论和算法研究：怎么更高效地生成对抗样本，怎么从防御的角度设计算法提升模型的鲁棒性和安全性，以及怎么做评测。
第二阶段是 2020 年到 2022 年。到那个时候，我们对深度学习鲁棒性问题的认知已经比较深入了，算法发展也相对收敛，我们知道什么路线是对的，什么是错的。这段时间我们更多关注的是实际应用场景中的安全问题，做了很多物理世界的 AI 安全研究，面向真实的人脸识别、自动驾驶应用，去做攻击、评测，以及修复安全漏洞。
第三阶段是 2022 年到 2023 年及以后，大模型浪潮开始了，我们很自然地转向大模型安全。其中，2023 年到 2024 年，大家更多关注大语言模型和多模态模型的内容安全，也就是输出的内容是不是符合我们的预期，是否符合社会正确的价值观，有没有生成危害性内容等。
从去年到今年，我们的研究进入第四阶段，更多地开始研究从语言模型到智能体（Agent）系统的安全。在实际环境中，Agent 已经可以执行任务，比如能够访问工具，能够访问我们的环境等。此时，一旦出现错误、出现不安全的情况，造成的风险可能是不可逆转的。
同时我们也在关注前沿风险：能力更强的模型在更前沿的任务上会不会展现出危害，包括欺骗、失控等。
进攻：找出多模态大模型的 " 阿喀琉斯之踵 "
DeepTech：你曾带领团队首次攻破了 GPT-4o、Gemini 等商用多模态大模型，当时是怎么找到突破口的？
董胤蓬：这件事大概是 2023 年 9 月做的。当时 ChatGPT 等大模型开始火了，最早是纯语言模型。到 2023 年下半年，大家开始将中心转移至多模态模型，GPT 和 Gemini 也相继推出了多模态功能：输入图像，模型能够理解图像的内容。
我们当时做这项研究的动机是，大家都在讲大模型有涌现能力，即模型的规模到达一定程度，某种能力就自然涌现出来了。所以我们想看看，这些规模非常大的模型，在鲁棒性方面和之前那些 " 小模型 " 有没有本质区别。
实际操作上，我们那时刚做出来一个新方法，名为 " 模型共同弱点攻击 "（Common Weakness Attack），就把这个技术直接用在了这些大模型上。大概用了几天时间，我们就发现，这个方法也能非常有效地攻破商用大模型。
这个结果在我们的预期之内，原因在于，从机器学习的本质看，大模型的核心原理还是统计学习：建模数据的概率分布。所以大模型和之前的深度学习小模型在原理上没有特别明显的区别，我们也不认为，大模型的鲁棒性一定能有很好的提升。
但这一发现确实出乎很多其他人的意料。当时一些欧美的研究机构，比如美国加州伯克利的研究人员专门发来邮件，咨询我们是怎么做的，他们并未做到达到类似的效果。后续，我们的这些攻击方法也被 OpenAI 用于评测 o1 推理模型的鲁棒性。
DeepTech：图像和文本这两种模态，安全问题在本质上是一致的吗？
董胤蓬：不同模态鲁棒性不足的原因在本质上是很像的。例如，无论是图片还是文本，输入都来自高维空间，模型需要通过比较基础的算子运算，将高维输入映射成最终的预测：对于图像分类，它要预测一个标签；对于文本，则是每一个时刻预测一个 Token。在这一过程中，就会出现某些噪声，导致预测结果严重偏离。
它们不一样的地方在于输入的表征。图像在某种程度上可以认为是连续表征，我们可以针对它做连续的优化，用一些比较成熟的优化器来生成对抗噪声。但文本的难点在于，输入的 Token 是一个离散的形式，我们不太可能对 Token 做很小的连续变化，让它映射成另一个 Token，这就需要一些不同的技术，如离散搜索、启发式方法等。
另外，怎么评估变化是不是 " 微小的 " 也不一样。图像的评估可以很容易，很小的像素改变就够了；但我们对文本做了某种替换之后，它是不是一个很小的变化，可能还需要额外的指标去判断。
防御：能力扩大与安全边界的权衡
DeepTech：你后来提出了 STAIR 方法，让大模型从直接拒绝升级为推理后再判断，这种方式在实际部署中效果如何？
董胤蓬：做 STAIR 的时候，我们想解决的核心问题是，现在大模型安全对齐面临着一个名为 " 对齐税 "（Alignment Tax）的重大挑战。这个概念的意思是，模型的对齐做得越多，安全性可能确实会变强，但性能则会出现某种程度的下降。
2024 年底，OpenAI o1 模型的慢思考推理模式给我们带来了启发：有很多安全问题是非常难以识别的，即便对于人类而言，都需要做一些深入思考，才能发现问题里有陷阱、不应该回答。
基于这个想法，我们提出了 STAIR，将慢思考的过程融入大模型的安全对齐。结果发现，这种方式能非常有效地缓解对齐税的问题。
只是在效率方面，它确实比直接判断安全与否要慢一些。但如果大家后面都用推理模型，都用时间来换取模型性能的话，这种方式就能很好地匹配。
DeepTech：你们算是最早把推理应用到安全领域的吗？
董胤蓬：同期还有一些团队也有类似的想法，可能都是受到 o1 的启发，我们算是最早一批用推理实现模型安全的工作。就发表而言，确实是最早的。
DeepTech：前段时间我们看到，Anthropic 的 Fable 5 上线后不久即因越狱技术而被停用，而且很多用户反映，它为了安全牺牲太多性能，甚至会在涉及敏感领域时 " 偷偷 " 降低模型能力。你怎么看这种策略？
董胤蓬：我觉得 Anthropic 的策略是一个折中的策略。Anthropic 很早之前就在宣传 Fable 5，但一直没有发布，我相信可能是有一部分安全性的考量：当前沿模型能力变得特别强，公司自然会担心有非法分子利用它做坏事。
但最终 Fable 5 发布后，我们发现，它们也没有找到一个非常好的解决方案，能在维持前沿模型能力的同时防止滥用、保证安全。于是，Fable 5 选取了一个折中的策略，加一个检测器，在发现和敏感领域相关的问题时自动回退。
这个方案虽然在某种程度上能保证安全，但局限还是非常明显的：它会在某些情况下把很多正常的请求识别为不安全的请求。比如关于 AI 算法、技术、生物领域等方面的正常询问，也会触发能力回退。
此外，也有一些方法能绕过这个检测器，让模型最终输出不安全的内容，因此我们很难保证整个系统一定是可靠的。
DeepTech：那在你看来，安全与能力的权衡算不算大模型安全领域目前最大的难题？
董胤蓬：从科学性上来说，我们最终想实现的目标就是激发模型的能力：要发展 AI，还要做到某种程度上的 AGI，甚至 ASI。但在提升能力的同时，安全风险也会被不断放大。
对于商业模型，核心难点在于，我们很难划清哪些是安全的边界、哪些是能力的边界。因此，怎么实现这两者的平衡，的确是我们现在需要关注的问题。
DeepTech：最近，OpenAI 又连续披露了两起模型安全事件，新模型从沙箱中逃逸，甚至入侵开源平台 Hugging Face，想请你从专业角度分析一下，这种情况是如何发生的？
董胤蓬：这本质上可以理解为一种 " 奖励黑客 "（Reward Hacking）：模型为了完成网络安全评测任务、获得更高的奖励，把沙箱隔离和访问控制当成了阻碍任务完成的障碍，并选择了未经授权的方式绕过这些限制。
我们团队近期正好做了一项关于前沿 AI 失控风险的研究，发现模型失控的路径可以被理解为 " 失控动机 - 模型能力 - 规避监管 "。这次事件恰好证明，这条路径在现实中是成立的。
落地：从单一风险研究，到为 Agent 全周期保驾护航
DeepTech：从产业界的角度看，AI 安全面临的现实问题是什么？
董胤蓬：从 AI 安全的产业化来讲，大家现在最关心的问题是 Agent 的安全问题。尤其是今年开始，越来越多的 Agent 开始进入实际工作流。
Agent 和之前的区别在于，它从之前单轮的对话变成了长时间处理任务，自主规划、和环境交互。我们希望 Agent 能 7 × 24 小时不眠不休地工作。但如果它中间某一步的推理出现错误、幻觉，或者受到攻击，中间一步的行为偏差就会随着执行进程不断累积，最终造成非常严重的错误。比如 Agent 会执行未授权的指令，或最终偏离我们的意图，没有实现目标。
对此，我们团队正在做一些产业化的探索，为 Agent 在全生命周期内提供安全监测与防护。我们可以借助监测系统，记录 Agent 每时每刻在干什么，从系统层面观测 Agent 的行为轨迹，记录它的系统调用，从中及时发现不安全的操作。
另外，从实际落地角度，大家对安全系统的效率也有要求。我们不会希望做安全检查的模型，运行效率比 Agent 本身还要慢。所以我们做的是非常轻量化的识别，同时能实现更高的检测准确率，运行效率方面，在一些基础的内容安全任务上，我们的系统表现比 Llama Guard 等常用模型还要好。
DeepTech：从学术研究到产业转化，中间最大的挑战是什么？
董胤蓬：挑战主要有两点。
第一，一篇论文关注的只是一个安全问题，从一个定义出发，做好风险建模，然后在比较干净的设定下做研究。但在实际的 AI 应用中，情况会变得非常复杂，风险的来源可能是很多元的。如何涵盖、识别不同类型的风险，保证 AI 平稳运行，这是一个非常大的挑战。
第二，做学术研究时，我们更关注单一的指标，比如安全识别的准确率，或者对模型性能的影响。但在实际应用中，我们需要同时考虑模型的性能、安全性、系统效率，还有它和正在运行的 AI 之间如何协同，对此就要做一些更加复杂的设计。
DeepTech：你们团队在产业化方面有哪些优势？
董胤蓬：我觉得有几点。第一，我们对 AI 安全问题的理解是更加深刻的。我们经常遇到的情况是，企业说自己遇到了什么问题，但并不知道问题产生的原因是什么，不知道怎么缓解风险。我们之前有更多关于学术的积累，对这些问题的认知更深入，这是我们做产业化非常重要的技术基础。
第二，在学校的研究之外，我们此前已经和产业界进行过很多合作与交流，对实际问题也有比较深的理解和认知。企业运行 AI 时涉及的风险种类、怎么去做更可行的解决方案，我们对此有很多经验。
我们其实不只站在防御角度，更多还要从 " 红队 " 攻击的角度来发现风险。对风险的理解和认知更深入、更全面，对模型的评测更加准确之后，很自然就能带来防御覆盖度的提升。
未来：预判风险、具身安全与国际合作
DeepTech：有一种观点认为，AI 安全研究可能永远落后于 AI 能力研究，你同意吗？
董胤蓬：这是事实。现在 AI 安全的研究一定是滞后于 AI 能力的研究。因为某种程度上看，之前大家的做法都是先有 AI，再去发现它有什么漏洞、有什么风险，然后再去解决问题，所以一定有滞后性。
为了缓解这件事，领域内已经有很多人在提 "Safe AI" 的概念，即从设计阶段就让 AI 自带安全属性，而不是事后再去做安全。其中比较知名的是约书亚 · 本吉奥（Yoshua Bengio），他是 2018 年图灵奖得主，被称为 " 深度学习三巨头 " 之一。约书亚在 2025 年 6 月创办了一家非营利研究机构 LawZero，拿到了 3,000 万美元的资金，核心理念是构建一种叫 "Scientist AI" 的非代理式（non-agentic）AI 系统，这就是个新的技术路线。
当然，这类工作实际上还没有真正跑通，大家还在做前期探索，整体算一个比较理想化的愿景。
另外一个问题是，现在前沿模型的能力集中在非常少数的公司，比如 OpenAI、Anthropic 等。很多安全领域的学者无法进入这些最前沿的模型内部，也就难以分析它的风险。这可能会导致 AI 安全研究和 AI 能力研究的差距变得更大，这也是一个非常大的挑战。
DeepTech：基于这些问题，我们现在有没有可能做到预判风险？
董胤蓬：我们可以用一个简单的公式来理解风险问题：AI 安全造成的实际风险约等于它的风险严重程度乘以损失，再乘以风险暴露的时间窗口。
之前可能单个风险没有那么高，它造成的危害没有那么大，暴露的时间窗口长一些还能接受。但现在，随着模型能力越来越强，应用越来越普及，单个风险造成的后果越来越严重。如果我们不把发现和修补风险的时间窗口变得更窄、更短，风险造成的损失就会越大。
对未来一年、两年内可能出现的新型风险进行预判，正在变得越来越重要。能预判，就能提前弥补。
现在，我们的目标是通过一些建模，从模型现在的能力维度、行为维度出发，分析它产生某种风险的概率是多少。更重要的是，它产生风险的路径是什么。希望以此提前发现模型失控的可能性、发生的路径，再探索应对的策略。
DeepTech：具身智能和物理 AI 的发展，会给安全问题带来哪些变化？
董胤蓬：" 物理 AI" 是一个新词，但我们在 2020 年到 2022 年，已经做了很多物理世界的安全性风险研究，其中包括自动驾驶，这也可以认为是一类相对固定的机器人。当时做这件事核心的挑战是，怎么在开放、动态、复杂的环境下，保证自动驾驶系统的正常运行。
相比自动驾驶，具身机器人的场景复杂得多，动作空间大得多，风险也更加多样，这带来了巨大的研究空间，我们现在也关注具身安全的一些问题。
首先，物理 AI 领域的一些问题和自动驾驶是类似的，比如鲁棒性和泛化性的问题。具身智能基础模型的泛化性还存在一定限制，在非常复杂或完全开放的环境下，表现不是很好。
但同时，具身智能也带来了很多新问题。
比如机器人本体的安全性。我们经常看到一些机器人打人、撞人的新闻，因此，机器人和人交互时，怎么保证不伤害行人和小孩？这是个关键问题。还有对环境的安全性：机器人不能破坏一些受保护的环境。
此外，机器人还有个自动驾驶没有的问题：语义安全。因为机器人什么事都能做，你要让它拿着刀满街跑，机器人就应该识别出这是不安全的，进而拒绝这样的行为。对比之下，只做感知、决策和控制的自动驾驶汽车可能就没有这种风险。
DeepTech：你和团队未来会把侧重放在哪些方向上？
董胤蓬：我们整个团队现在主要关注几件事。
第一是前沿风险。AI 的欺骗、失控等都属于前沿风险。如何预测这些风险会不会发生，如何构建评测框架、构建风险建模的方法，进而做到事先防护。这是一个非常重要的方向，对未来 AI 的发展也很重要。
这件事不是我们自己做就够了。前沿风险一旦发生，涉及的不仅是一个人、一个机构、一个国家，而是对全人类都很重要，所以这一领域一定需要国际合作。我们目前依托清华人工智能学院，正在做一个 AI 安全枢纽（AI Safety Hub），参考美国、英国那边的一些机构，建立国际交流、访学、合作的组织。希望通过某种机制，聚集起世界各地的研究人员，针对这些前沿问题，一起去合作、交流。
第二是 Agent 安全的产业化。因为它已经在实际应用中出现了，很多人都关心这件事。我们团队的短期目标肯定是尽快做出能落地的产品，进行一些商业化的探索，在应用过程中不断完善产品的能力，真正解决人们用 Agent 时的实际需求。相对前沿风险研究，这是一个更成熟切实的方向。
第三是具身安全。不过，因为具身智能距离大规模落地还有一定时间，目前还在早期探索阶段。我们的目标是真正理解具身安全的技术路线和对应的风险，以及这一框架如何嵌入一些具身智能公司的工作流中。在后续的很长一段时间里，我们希望有能力解决这些问题。
运营 / 排版：何晨龙
注：封面 / 首图由 AI 辅助生成
