14 天 450 人 500 辆 Agent 坦克大混战：我们完成了一场大规模 Agent 众测

当大家已经看腻了所谓一个更比一个强的 Benchmark 刷榜，什么样的场景能真正评价 Agent 和模型？

硅星人想到的答案是：让 AI 打实时对抗的游戏。在 AgenTank 游戏中，让 Agent 来玩 Tank 击杀游戏，如果你还没有了解过，可以看看下面这场冠军对战：

比赛分为 1v1 个人赛和 3v3 团赛，均以击毙对方或者吃到更多的星星为获胜条件，玩家可以在创建坦克时选择不同的技能，并针对该技能制定相应的策略。

于是，在这个刚结束的周期长达 14 天的比赛里，我们联合 30 个社区和顶尖高校 AI 社团， 450 名选手、500 多辆 Agent Tank，消耗近千亿 Token，完成了一次大规模 Agent 众测。

在对战的过程中，我们发现区别于传统静态的 BenchMark，在实时对抗的游戏环境里，比赛周期长、版本迭代多，对手的能力和策略都在变化，Coding Agent 不能只写好某个 JS 文件，还要在多轮失败、回放、日志中分析失败原因迭代坦克，直至发布新版本，再重新跑一遍这个闭环。

实时对抗还带来了动态博弈。没有任何策略是绝对制胜的：今天能赢大多数人的打法，明天可能被某个对手专门针对；团队赛里，策略还要根据队友分工和敌方行为重新调整。

最终，AgenTank 测到的是模型、Agent Harness 和人机工作流的综合能力，而不是单纯的裸模型智商。

测评说明与全局总览：

本次测评的数据集均来自选手在 AgenTank World Cup 中使用的参赛模型和 Agent 的数据，而不是等量控制的实验室样本。

因此，不同模型的样本量天然不均：有的模型被大量选手使用，留下了更多迭代版本、更多坦克和更多杯赛出场；有的模型样本较少，甚至部分维度缺少源码证据。为了避免把低样本偶然性写成确定结论，我们在总览表格里同时展示版本数、坦克数、杯赛出场和估算置信度。

最终的测评结果对应的不是游戏里的孤立技巧，而是实际工作中选择 Agent 时真正关心的问题：谁更会写可维护代码，谁更有全局观，谁能适应变化，谁能组织工具链，谁能把长任务持续推进到稳定结果。

所有的 AI，无论模型还是把模型藏在里面的 Harness 工具、模型产品等，最终都要解决真实场景的问题。于是在普通用户那里，解决问题最重要，管你是模型还是什么，一视同仁。

这也解释了为什么我们会把 Codex、Cursor、Claude Code、GLM、Agnes 等放在同一张表里。

这次评测不是纯模型 API 跑分，而是还原选手真实使用的 Agent 栈：有些选手并不区分自己用的是 IDE、Coding Agent 还是底层模型，只关心它能不能把坦克写出来、改得动、打得赢；同时，同一个 Harness 可能不断切换模型，同一个模型也可能接入不同 Harness，组合太多，单独按产品或模型拆都会失真。

我们按 " 实际承担主要 coding、规划和迭代工作的能力来源 " 归类：产品主导时看产品 /Agent 栈，模型变化主导时把模型作为参考维度。

因此，我们把这次 Eval 评测拆成五个维度：代码质量分、全局规划能力、实时任务适应、技能与工具编排、长程任务能力。

这张图是本次测评的总览表。我们把每个模型 / Agent 栈在不同能力维度上的得分拆开呈现，包括代码质量、全局规划、实时适应、工具编排、长程追踪和杯赛使用等指标；颜色越深，代表该维度得分越高。需要注意的是，这里的 " 画像分 " 不是胜率，也不是裸模型 API 排名，而是基于真实参赛代码、回放、版本记录和出场数据综合得到的能力画像。

以下是经过众测后得出五条最核心的结论：

Claude 更像架构师，Codex 更像工程执行者。

Claude 更擅长把握宏观框架、搭出清晰结构，但后期处理精准细节时可能出现失真；Codex 架构能力没那么强，却更像一把便宜、高频、精准的手术刀，哪里有问题就直接改哪里，在动态环境里的适应性更好。

国产模型已经有局部 coding 亮点，在静态代码能力上，甚至部分优于顶级模型。这次比赛里，国产模型和顶级模型在代码质量上的差距没有想象中那么大。

国产模型真正落后的地方，是全局规划和长程执行：一旦策略从单个函数扩展成一套持续迭代的系统，就更容易出现目标前后不一致、代码越叠越厚、修复后缺少验证闭环的问题。但在实时响应上，国产模型反而有一些亮点，GLM、DeepSeek、Doubao 在明确场景下能较快补出针对性策略，说明它们对局部变化的反应并不弱，弱的是把这些反应长期组织成稳定系统。

模型决定静态代码上限，Harness 决定了动态适应的结果

模型能力足够强时，它决定第一版代码的质量、架构和策略上限；但任务进入动态环境后，胜负就不只看模型会不会写，而看 Harness 能不能帮它记住状态、调用工具、读取回放、处理上下文，并把失败反馈转化成下一轮调整。

Agent 的自反馈能力决定它能不能从工具走向独立。一个 Agent 的水平，不是由某次生成的代码、某一局胜负，或者某个模型榜单分数决定的；评判标准应该是：代码能不能长期维护，目标能不能持续记住，环境变化后能不能调整，工具和技能能不能被组织成策略链，失败以后能不能自己复盘、修复并验证。

接下来我会继续拆解每一项评分标准，以及这些分数分别对应到 AgenTank 对战中的哪些具体能力。

一、工程能力及代码质量

首先说明的是，工程能力分不是胜率，也不代表最终排名。它衡量的是 Agent 能不能把 " 能跑的策略 " 做成 " 能长期维护和迭代的工程系统 "；代码质量只是其中最基础、也最关键的一项。

在这部分对工程能力和代码质量的评测中，主要考察函数组织、边界检查、决策出口、代码可读性和注释质量。为减少少数样本带来的误差，我们只统计有效样本数 N ≥ 4 的模型，并取质量最高的 4 个样本计算均分。

同时，AgenTank 的规则中已经对代码做了初步限制，即代码体积需在 200K 以内，在同时击中等特殊判定中，代码运行时间也会成为决定胜负的依据之一。

从选手的实际用法来看，模型选择不是单选题，是组合题。

Claude 适合搭策略基座，代码体积克制、结构清晰、完成度高。Codex 便宜、产量大，适合跑更多轮试错。不少上榜坦克先用 Claude 搭好策略骨架，再交给 Codex 或国产 Agent 跑迭代，在质量、效果和成本之间找性价比。

但这种接力不总是成功：有选手让 DeepSeek 为 Codex 生成的函数补注释，结果始终无法准确对齐原有策略，只能放弃。也有选手认为 GLM 的策略生成和落地效果不够，成本又没有优势，最终换回 Codex。工程接力的前提是接棒者能理解前一棒的架构意图，国产模型的弱项也在于此。

Cursor 的优势不完全来自底层模型，而是与 IDE 结合得更紧。个人赛和团赛都上榜的选手解释道：对一个已经迭代了几十上百版的 tank 来说，找准该改哪里比写代码本身更重要。进入长程任务后，拉开差距的是 Agent 工作流是否完备，而不是不停的烧 Token。

国产模型与第一梯队的差距集中在工程闭环和稳定性。局部改写、轻量执行、特定战术中能打出亮点，但长程任务里选手仍然选 Claude 们。

体感上，国产模型驱动的 Tank 容易在某个段位停滞，迭代不是做不了，但更依赖人持续跟进催促；Claude 和 Codex 则能自己走完从生成到测试到发布的完整流程。有选手搭了本地模拟器作为发版门槛，新版本必须通过 36 到 72 场全胜才允许发布，国产模型写出的代码没能通过本地测试，策略根本没走到发布节点。

二、长程任务能力

长程任务把时间拉到 14 天、上百个版本，考验的是 Agent 能不能在很多轮迭代之后，还记得自己要干什么，还能把失败转化成下一轮修复。

AgenTank 在计算长程能力时，先折叠内容相同的重复保存多点几次保存不算有效迭代。真正进入评分的，是版本链里发生过实际变化、能延续目标、能处理失败反馈的有效推进。

整体来看，长程任务比其他几项更难拿高分。多数模型在 " 演进稳定性 " 上都不差，它们不太会把代码直接改崩。真正拉开差距的是两件事：能不能在很多轮之后还围绕同一个目标推进（持续跨度），以及能不能把失败转化成修复动作（修复闭环）。

Codex 领先，不是因为版本多，而是它在长链路里更能保留目标，代码演进没有明显失控。它更像一个能被长期驱动的工程型 Agent，可以在几十个版本里持续接住任务，把前一轮的问题和下一轮动作串起来。

相比之下 Claude 写得清楚、稳健，但当任务进入很多轮反馈和修复时，它的长链路推进证据不如 Codex。代码质量第一的模型，在长程任务上只排第三，尤其在进入第 50 个版本迭代后，Claude 的代码质量开始出现比较大的波动和下降。

长程任务是国产模型最吃亏的一项。GLM 的表现相对最好，说明它有一定持续追踪和修复能力；Kimi K3 则体现出另一种典型问题：它能持续迭代，但迭代方式更像不断往上叠代码，后期容易形成屎山和状态栈错乱。

DeepSeek V4、MiniMax M3 的问题则更偏向闭环不稳：能补局部代码，但很难持续记住目标、读结果、定位问题、修复并验证。国产模型在这里暴露出的核心短板，是从 " 完成一次修改 " 到 " 长期托管一个任务 " 之间还差一整条工程链路。

三、全局规划能力

代码写得好，不等于知道下一步该往哪走。

AgenTank 中，坦克可以获取地图、墙体、星星、敌人和队友等信息，但每一帧的行动都受视野、移动距离、转向成本和技能冷却限制。全局规划考察的是：Agent 能否围绕地图、资源和长期目标安排连续行动，而不是看到敌人就开火、看到星星就追。

测评同时检查源码和回放。源码看 Agent 有没有路径搜索、资源优先级、跨帧状态和战略仲裁结构；回放看这些设计是否真的转化为有效行动，避免「代码里写了规划，实战里依然乱跑」。

Claude 在这里出现了一个有意思的反差：代码质量分很高，全局规划分却不突出。它更擅长把代码整理成清楚的结构，但在逐帧变化的环境里，结构清楚不等于目标稳定。连续打起来，目标容易散。于是不少选手在 Harness 层补上跨帧状态，比如用行为树加黑板机制，让坦克记住上一轮目标，在攻击、躲避、追星之间维持优先级，而不是每帧从零判断。

在全局规划上，国产模型的表现比代码质量更能暴露差距。GLM、DeepSeek、MiMo 在部分规划指标上有信号，说明它们能理解路径、资源和目标这些基本概念；但多数国产模型的问题是目标容易断：这一帧会抢资源，下一帧又被敌人或局部收益牵走，连续几步看不出稳定计划。

ZCode、Mavis Agent 在代码质量分上分数不低，在全局规划上没有同步跟上，说明 " 会写清楚代码 " 和 " 能组织长期行动 " 是两件事。国产模型要补的不是单个 BFS 函数，而是把路径、资源、风险和状态放进同一个决策系统。

当模型记不住的目标，只能由 Harness 替它记住。实战中，选手通常会在 Harness 或策略架构里补上跨帧状态。

例如 myth-tank 训练中采用了 " 行为树 + 黑板 " 机制，让坦克不再每帧从零判断，而是能记住上一轮目标，并在攻击、躲避、追星和蹲草之间持续调整优先级。

团队赛多一层考验：单个 Agent 的判断能不能服从团队分工。Agnes-Go 初期就出现过两辆坦克争抢同一颗星、彼此卡住的情况。复盘后不同坦克逐渐形成分工，存活追星、持续火力、开局猛攻各司其职，再把分工固化进共享约束。这里的全局规划不只是「我下一步去哪」，而是「我们接下来几步怎样不互相打架」。

反过来，即使每辆坦克都是最强坦克，其局部判断都合理，但若一辆坦克选择埋伏，另一辆却主动出击，团队仍可能输掉比赛。

四、实时任务适应能力

实时适应，是 AgenTank 对模型和 Agent 最严苛的考验之一。战场在变、对手在变，同一个对手的打法也在持续升级。进入王者段位后，蹲草、突击、转向甩弹已是常规操作，甚至有人会针对榜单头部坦克专门编写反制代码。

很多选手把 AgenTank 的模式类比做 " 黑客攻防 "，不跟进跌打，马上掉分掉段位；改的太紧太多，又可能 " 打赢一局，改坏全局 "。这就很考验实时复盘迭代能力，比如来自超参数的冠军选手就在他迭代工作流中设置了门槛条件，不仅要在不同地图上击败旧版本、胜率超过 60%，面对其他技能坦克时也表现也不能退步。

所以，实时适应不只是看单帧反应有多快，更要看 Agent 能否在对战中识别变化，在失败后找到原因，并把有效调整写进下一版策略。

实时适应主榜的分差非常小，在这个维度没有绝对领先者，不同 Agent 走了不同的路线，也有着不同的弱点。

Codex 的缺点是执行效率低下。这和我们前面的测评观察是相呼应的，即 Codex 能主动通过观察战局，把战场变化写进策略，但这也表现为代码不断堆叠、体积持续变大，进而导致运行时间变长。

Claude 和 Cursor 更像保守但表现均衡的选手，除事件响应稍弱外，没有明显的短板但运行可靠性很高。代码通常结构清晰、保护条件充分、运行稳定，但策略仍可能偏向固定优先级和安全规则。它们能可靠处理眼前事件，却不一定持续积累对手信息，也不会频繁重组整体打法。对于需要长时间运行的复杂任务来说，这种稳定性尤为关键。

实时适应是国产模型最容易打出局部亮点的地方。GLM、DeepSeek、Doubao 在执行速度、局部反应和对战术变化的处理上都有有效信号，尤其是面对明确场景时，它们能较快补出针对性策略。

但问题也在这里：如果只针对某个对手、某个技能或某种打法做特化，短期可能上分，长期会牺牲泛化胜率。国产模型在这一部分更像 " 反应不错，但稳定复盘不足 "：能看见局部变化，也能改出局部补丁，但还不够稳定地判断这个补丁是否会破坏整体策略。

五、技能和工具调用能力

不少 Agent 写出的代码，看起来什么都能做，移动、射击、放技能、躲子弹一项不少。有时这些工具组合在一起，反倒互相打架，输掉对局，体现在代码层就是追星逻辑让坦克往前冲，避弹逻辑又让它后退；技能冷却还没结束，代码已经开始尝试释放。

好的策略代码，需要做好技能和工具调用，有一个合理的指挥逻辑，让 Tank 先看清战场，再决定这一刻应该用的技能和工具，最后只执行最合适的动作。

除 Codex 在工具覆盖和情境映射部分有明显优势外，主榜模型之间策略链路的差距其实没有想象中大。

Codex 的优势表现在，它不仅能把移动、射击、技能、资源和敌人感知都写进代码，还会根据不同局势改变用法。让同一个技能，在追击、保命和抢资源时，有着不同的触发条件。

个人赛冠军（CCS 超参数）即是在另一个层面印证了 Codex 的编排能力。他用 Codex 串起读取回放、分析问题、修改代码、运行测试和决定发布的完整流程，说明它擅长把多个工具和步骤组织成一条连续、可验证的工作链。

这个部分，国产模型体现的差距不在 " 会不会调用工具 "，而在能不能把工具组织成策略链。Doubao、DeepSeek、MiMo 在局部动作组合上能打出一些分数，说明它们知道什么时候移动、攻击、躲避或释放技能；但工具之间的关系常常没有被统一管理，比如资源、冷却、风险、目标优先级各算各的。

GLM 相对更完整，但仍然缺少顶级模型把 " 状态判断—候选动作—评分选择—执行验证 " 串成闭环的稳定性。简单说，国产模型能写动作，但还不够会编排动作。

Agnes 由于自建了 Harness 层，通过清晰保留日志、版本和工具调用记录等，让中途报错等任务也能接着断点继续跑。

结尾：

接下来，我们也会把 AgenTank 继续往更标准化的 Benchmark 方向推进：进一步完善指标口径、扩大样本规模、沉淀可复现的数据集和评测方法，并尝试把这套实时对抗评测写成论文发布出来。我们希望它不只是一次杯赛复盘，而能成为观察 Agent 能力演进的一种长期方法。

如果你也在关注 Agent Benchmark，或者有更多实时对抗、动态协作、长程任务场景的想法，也欢迎一起参与进来。今天的 Agent 评测还远没有定型，静态题库只能回答一部分问题；真正复杂的能力，往往要放进会变化、会反馈、会互相博弈的环境里才能看清楚。我们希望和更多研究者、开发者、参赛者一起，把这件事做得更专业。