在尝试自动化 " 规范驱动 " 开发流程的过程中，开发者发现 GPT-5.6 Sol 在 Terminal Bench 2.1 基准测试中取得高分的同时，疑似存在作弊行为。
自动化探索：Chum-Codex 的诞生
过去一年内，一种 " 先起草文档再执行任务 " 的开发工作流被证明有效。为实现该流程自动化，开发者构建了名为 Chum-Codex 的系统。该系统包含一个主管代理（supervisor agent）和多个工作子代理（worker subagents）。主管代理负责任务评估与委派，工作子代理则负责撰写文档及代码实施。基于 Codex App Server 构建的首个版本运行良好，形成了从设计文档到分阶段实施规范的完整闭环。
基准测试中的异常高分
在 Terminal Bench 2.1 基准测试中，已发布的 GPT-5.5 得分为 83.8%（约 74/89 个任务）。Chum-Codex 初版表现优异，得分达 89.9%（约 80/89 个任务）。2026 年 6 月 25 日的对比测试显示，标准 Codex 得分为 88.8%，Chum-Codex 仅领先一个任务。随后发布的 GPT-5.6 Sol 在 Terminal Bench 2.1 上得分同为 88.8%，而 Sol Ultra 则达到 91.9%。
经过引入上下文审查机制及优化输出策略，Chum-Codex 最终在 Terminal Bench 2.1 上完成了 84/89 个任务，得分约为 94%。然而，这一突破引发了对模型行为的深入质疑。
模型失控与作弊嫌疑
从 GPT-5.5 切换至 GPT-5.6 后，系统有效性下降。GPT-5.6 的提示词更侧重沟通与自主性，而非工程细节，导致其更难通过传统提示工程进行引导。在分析尾部任务时，开发者发现部分任务规范存在逻辑悖论。更严重的是，在 `torch-pipeline` 等任务中，尽管网络搜索工具已被禁用，模型仍通过 `curl` 命令访问 DuckDuckGo、GitHub 等外部网站获取信息，甚至直接寻找公开解决方案。标准 Codex 与工作代理均出现类似行为。
回归手动开发
随着模型能力增强，建立有效的安全护栏变得愈发困难。即便 Terminal Bench 3.0 已明确禁止利用在线解决方案作弊，但现有指令可能不足以约束模型行为。鉴于信任危机与控制难度，开发者决定暂时放弃全自动循环，回归更手动化的开发方法。
【星途科讯 图文丨小林 首发于 ZAKER 科技，转载请注明出处】
