关于ZAKER Skills 合作
量子位 昨天

一篇论文改写 AI 科研评价规则!中国公司拿出实践数据,双榜第一、成本更低

今年 8 月,谷歌首席科学家 Jeff Dean 宣布离职,创办 AI4S 公司 Discovery Loop。

同样是今年,OpenAI、Anthropic、英伟达等科技巨头相继官宣入局 AI4S 这一方向。

这批 " 跨界 " 大厂玩家的目标高度一致:不只做科研辅助工具,而是打造能自主跑完 " 假设→设计实验→执行验证→迭代优化 " 完整科研循环的 "AI 科学家"。

不只这些科技巨头,有许多公司已经更早入场。成立于 2024 年的中国企业深度原理,是全球最早押注 AI 自主科研方向的公司之一。

这一赛道背后是一片广阔的 " 金矿 "。一旦 AI 能够实现自主闭环科研,AI 就能从 " 卖软件 " 升级为新材料、新药物等万亿实体产业的生产力基座

国家战略层面也重视这个赛道。AI 驱动科学发现已被纳入我国新一轮科技强国战略

行业越热,一个问题就越绕不开:怎么评价这些 "AI 科学家 " 们到底做得好不好?

旧的衡量标尺,已经不够用了

长期以来,行业通用的衡量 AI 科研水平的标尺是 HLE 这类闭卷知识考试。

它们本质上是只看最终答案的考卷,只看答案,不会看答案生成的过程。

获得高分的这类 AI 科研工具,通常让它做一个实际实验就会暴露问题:它们可能可以流畅的引用文献,但无法停下来审视反思异常数据,也可能给出看似头头是道,实际上无法执行的实验方案。

8 月 19 日,一篇名为《Measuring AI Scientists: From Exams to Discovery》的论文发布,第一次为 "AI 进行真实科研的水平 " 提出了系统完整的评价范式,正式填上了这个衡量标尺的缺口。

论文由中国 AI4S 企业深度原理(Deep Principle)联合微软研究院、斯坦福大学、FutureHouse、Edison Scientific、艾伦人工智能研究所、加州大学伯克利分校等全球顶尖产学机构共同完成。

全球最大材料开源数据项目 Materials Genome 和库 Materials Project 创始人 Kristin Persson、FutureHouse 和 Edison Scientific 的创始人,近期《Nature》期刊 Co-Scientist 论文核心作者 Andrew White、 科研智能体评测标杆 ScienceWorld 核心开发者 Peter Jansen、2023 年 Nature 上 AI4S review 的第一作者 Yuanqi Du、 Terminal Bench 的最后通讯作者 Ludwig Schmidt 等 AI4S 泰斗级学者奠定了框架的学术权威性;

深度原理作为唯一的中国产业代表,以真实研发管线跑出来的一线经验,让这套框架具备落地的可操作性。

文章中甚至出现诺贝尔化学奖得主 Frances Arnold 的署名,一个不以 AI 见长且几乎不在 AI4S 界出现的科学家的名字,表明科学界的 " 权威 " 对这个方向的日益重视。

2026 年,从科技大厂到创业公司,各类玩家纷纷入场 AI 科研赛道,行业竞争加剧。这一评测体系在这个时机出现,有其必然性。

如何系统、完整的评价 AI 的科研水平

论文的核心创新,是提出了发现回合(discovery episode)的评估体系。

这一体系的核心逻辑是用 "综合考核" 的形式,全程记录 AI 在整个科研周期里的每一步决策,最终对整条轨迹的科学性、严谨性和有效性进行综合评分。

考核方式和以前的 " 应试 " 逻辑迥然不同。

围绕科研闭环的三个阶段:科研假说、方案执行、实验结果解读,这个评估体系分别建立了评判维度,最终还要进行 " 全流程闭环测试 ",衡量 AI 产出真实科研发现的综合能力。

论文指出知识评测和发现评测的差别,并定义 " 发现回合 " 包含的评估要点

这套体系还重新定义了失败数据的价值:失败的实验数据恰恰是训练和评估 AI 科研的核心资产。

人类科学家能从失败中总结经验、规避弯路,AI 做科研也应该学会从失败中获得经验。

而且,这个考核还对 AI 科研结果的真实性和独立性提出了高要求,确保实验结果是 " 货真价实 " 的新发现,不是无法实证的 " 自宣称成果 "。

深度原理的 MIRA,就是这套体系的现实样本

在这篇标准论文发布之前,头部玩家已经在产品中跑通了闭环逻辑,深度原理的 MIRA 平台就是其中最典型的产业样本

普通科研 AI 的定位是 " 答题工具 ",科研人员给出明确问题,AI 返回对应答案。

MIRA 的设计逻辑与普通科研 AI 截然不同,它搭建了覆盖 " 假设生成→模拟计算→实验验证→知识沉淀 " 的完整闭环系统,用三层架构实现真实科研团队的完整协作逻辑

上层是分工协作的多智能体小队,可以统一规划和调度科研进程;

中层是打通高性能计算与自动化实验室的双执行引擎,实现干湿实验室联动;

底层是可沉淀、可复用的科研记忆体系,让每个项目的数据和试错结论都能留存,成为后续研究的基础。

AI Scientist Mira 实际操作页面

这套设计的产业价值,已经被公开基准测试印证。

在化学、能源、材料综合评测 Research Claw Benchmark 和药物发现评测 Science Agent Arena 中,MIRA 均位列第一,且完成单项任务的平均成本也同样处于行业最优水平(最低),同时在性能和成本两个维度形成优势。

MIRA 在 Research Claw Benchmark 等评测中的结果

Science Agent Arena 药物发现榜单:MIRA 以 81.1% 的综合分位列第一

深度原理此前推出的 React-OT 模型,可在 0.4 秒内计算化学反应过渡态,奠定了平台底层的高精度计算能力。

MIRA 正是在这类专业模型的基础上,进一步串联起科研全流程。这一演进路径,恰是整个 AI4S 行业从工具到平台、从单点到闭环的缩影。

作为这套评测体系的核心产业共创方,深度原理已依托 MIRA 与自建高通量实验平台的干湿闭环,在锂电、工业冷却液、新能源材料等赛道布局多条自研管线,由 AI 主导全周期科研,真实沉淀闭环数据,让平台与评测框架形成持续的互相验证与迭代。

跨越干湿实验室的完整科研实践数据,是帮助 AI 快速掌握假设边界、规避重复试错的核心资产,预计未来也将成为下一阶段 AI for Science 发展的关键基础设施。

结语

这一标准范式的发布,是 AI for Science 赛道的一个里程碑节点,给所有奔跑的玩家划出了清晰的评判标尺。

但检验这个新标尺的数据却不易得。只有像深度原理和 Edison Scientific 这些拥有化学、材料、生物全流程研发能力、并且是 AI native 的公司才有可能做到。

过去的上半场,行业比拼的是 " 谁懂得更多 " ——大厂拼基座、拼参数、拼考试分数,用越来越难的题库,证明模型的知识厚度。

这些努力奠定了 AI 科研的基础,但也逐渐摸到了天花板。

接下来的下半场,比拼的将是 " 谁能真的做出东西 "。

今年以来,从海外大厂陆续入局,到 Jeff Dean 创立 Discovery Loop,再到国内深度原理等企业的科研闭环实践,整个行业都在朝着 " 让 AI 真正走完从假说到发现的完整闭环 " 这个方向前进。

如今,AI 科研的评价标准越来越接近科学本身的逻辑,AI 离真正成为可信科研生产力的那天,已经越来越近了。

想要完整了解 " 发现回合 " 评测体系的设计细节、测试场景与量化标准,可查阅论文原文:

《Measuring AI Scientists: From Exams to Discovery》

https://doi.org/10.26434/chemrxiv.15007582/v1

对 MIRA 平台感兴趣的朋友,可以在这里体验:

https://mira.deepprinciple.com/chat?invite_code=CN-89K6Y3UA

* 本文系量子位获授权刊载,观点仅为原作者所有。

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法!

点亮星标

科技前沿进展每日见

相关阅读

最新评论

没有更多评论了

觉得文章不错,微信扫描分享好友

扫码分享

企业资讯

查看更多内容