关于ZAKER 合作
量子位 昨天

谷歌北大联手学术版 Banana 爆火,论文图表 100% 精确生成

效果好到刷屏的 Nano Banana,学术特供版热乎出炉!

名字就是如此直观——PaperBanana,给你每天都在头痛的 Paper 用上 Banana。(试图押韵 skr )

而且这一次是由谷歌北大强强联手打造。

知道你想马上看效果,别急,三个官方案例这就给大家搬上桌。

在相同输入下,人类绘制、原版 Nano Banana 与 PaperBanana 生成的论文插图对比如下:

综合评估显示,PaperBanana 在美观性、简洁性与逻辑清晰度上均全面优于原版。

而且它还能直接优化人工绘制的插图,瞅瞅右边,是不是高级感一下就上去了。

此外,由于 PaperBanana 还提供代码出图功能 (即利用 Gemini-3-Pro 自动生成并执行 Python 可视化代码出图),所以它还能用来生成需要数值 100% 精准的各种图表。

好好好,既能拿捏高级感,又不忘精准度,应该没有学术人不爱吧 ~

论文作者表示,PaperBanana 为全自动生成可用于出版的插图铺平了道路。

我们希望这个框架能成为连接复杂科学概念与高效视觉叙事的桥梁,赋能每一位研究者,用专业级的视觉语言清晰呈现其发现。

而在看到其效果之后,一众网友也纷纷感叹 " 学术插图 " 这个老大难总算是要被攻克了。

想想以前的日子,真真是要落泪了 ~

研究人员花费 4 个小时在 Figma 中绘制一张图,简直令人难以置信。

那么,学术版 PaperBanana 是如何炼造的呢?

一个不够,那就 5 个!

用一个模型生图怎么够,现在都是多智能体齐上阵了。

没错,PaperBanana 背后就是5 个分工明确的智能体在起作用。

Retriever Agent(检索智能体):从顶会论文库中,找到与你要画的图领域、结构最相似的参考案例。

Planner Agent(规划智能体):把论文文字描述,转化为包含所有模块、逻辑的详细绘图说明书。

Stylist Agent(风格智能体):总结学术审美规范,给说明书加上配色、排版等 " 美颜 " 标准。

Visualizer Agent(可视化智能体):根据说明书,直接画图或写代码出图,产出初稿。

Critic Agent(批判智能体):检查图的对错与美观度,提出修改意见,循环迭代 3 轮优化。

下面这张图清晰展示了它们的工作流程:

划重点,连这张图也是 PaperBanana 自己生成的。

论文作者表示,这一过程参考了人类制作论文插图的流程。

以制作一个模型架构图为例,通常研究人员会先去看看顶会里类似工作的图是怎么画的,找找灵感和规范。

这一步就对应了检索智能体的工作。

然后就需要根据参考来规划自己的图该怎么画," 我的方法有几个关键模块?"、" 数据流和逻辑顺序是怎样的?",在想清所有关键问题后,脑子里大概就有一幅架构蓝图了。

而到这一步还不是真正动笔的时候,因为还需要结合自己的图以及之前看过的 " 顶会审美 " 标准,来给蓝图加点设计感。

有了这两样东西(蓝图 + 审美),现在就可以真正出图了。

并且出完之后,研究人员往往还需要检查一番,以确保出图正确无误。

怎么样?是不是一环扣一环、且全都一一对应上了。

而在了解完 PaperBanana 的工作方式后,接下来的问题在于:

怎么评估 PaperBanana 的生图效果?

实验方法及结果

对此,团队还专门构建了一个PaperBananaBench。该基准内容源自 NeurIPS 2025 ——

他们从 5275 篇论文中随机采样 2000 篇,经过滤、人工校验后,得到 584 个有效样本,然后将其均分为 292 个测试样本和 292 个参考样本。

这 292 个参考样本,每一个都提取了完整的(S, C, I)三元组:

S(源上下文):描述方法的文本,如论文方法论章节;

C(传达意图):图的标题 / 说明,如 " 我们的框架概述 ";

I(参考图像):论文中实际使用的、高质量的对应图表。

参考样本集构成了一个高质量的 " 学术插图数据库 ",主要供检索智能体进行查询和匹配。

而与之对应的 292 个测试样本,在评估时则仅提供 S、C 作为输入。其对应的 I 作为隐藏的标准答案,不参与生成过程,仅用于最终的质量比对与评分。

准备到这里,接下来就是具体生成和评估了。

裁判方面,他们采用了"VLM-as-a-Judge"(大模型当裁判)的评估范式——

让强大的视觉语言模型(如 Gemini-3-Pro)作为评委,将 PaperBanana 生成的图与测试集中隐藏的标准答案 I 进行逐项对比。

对比的维度主要有四个:忠实性、简洁性、可读性、美观性

若 PaperBanana 表现优于标准图得 100 分,劣于得 0 分,持平得 50 分,最终计算总分。

而实验结果表明,PaperBanana 在所有维度上全面超越了传统的单模型直接生成(Vanilla)等基线方法。

整体性能碾压:总分相对基线提升了 17.0%。其中,简洁性提升最为显著,高达 37.2%,说明它生成的图逻辑更干净、重点更突出;可读性(+12.9%)和美观性(+6.6%)也有大幅领先。

获得人类盲测认可:在匿名的人类盲测中,研究员有 72.7% 的情况认为 PaperBanana 生成的图比基线模型更好。

统计图表表现优异:在需要高精度的统计图表任务中,PaperBanana 的 " 代码生成模式 " 在数值忠实性上与人类水平相当,而简洁性和美观性甚至略胜一筹。

这里需要说明,在生成图表方面,PaperBanana 有两种模式:

一种是代码生成模式(默认)。让 Gemini-3-Pro 这类模型自动写 Python 可视化代码(如 Matplotlib),再运行代码出图。优点是可以保证数值绝对准确,适合需要严格精度的场景。

另一种是直接生图模式(可选方式)。跳过代码,让图像生成模型直接根据文本描述生成图表。优点是视觉效果更顶,但数值容易出现幻觉问题。

左图直接生图模式下,红框圈选出来的就是一些错误问题,而右侧的代码生图模式明显无误,但美观度略逊。

最后的消融实验证明,检索参考、风格优化、批判迭代这三个环节缺一不可,它们共同保证了最终图像的 " 准确 " 与 " 好看 "。

不过也需要提醒,PaperBanana 目前仍有一些局限性,比如它作为生图还无法编辑,同时在很多细节忠实度方面仍比不上人类手工作业。

所以,更保险的做法或许是,让它帮你优化以前绘制过的图。

在下面这套 " 手图蜕变 " 流程下,很多图都能变得更美观、更高级……当然也更容易入顶会的眼(doge)。

谷歌 x 北大联手打造

最后介绍下 PaperBanana 背后的团队。

一共 7 人,可以清晰分成两拨——

一拨来自北大,主要提供 NLP 与多模态理解的学术根基;另一拨来自 Google Cloud AI Research,负责多模态系统与工业化视角。

署名第一的 Dawei Zhu(兼通讯作者),本硕博均就读于北大,现为北大四年级博士生。

他重点研究长上下文建模和多模态数据,之前在微软亚洲研究院实习过,目前是 Google Cloud AI Research 学生研究员,PaperBanana 也是他在谷歌期间参与的项目。

借着北大这条线,另外两位来自北大的分别是 Xiyu Wei 和 Sujian Li(兼通讯作者)。

Sujian Li 目前是北大计算机学院长聘副教授,也是 Dawei Zhu 的博导,主要研究自然语言处理、信息抽取等。

而 Xiyu Wei 可能还是学生,目前只能看到 TA 和 Dawei Zhu 合作过一篇关于拓展上下文的论文。

而其他几位来自 Google Cloud AI Research 的分别是:

负责人 Tomas Pfister、高级研究科学家 Yale Song、研究科学家 Rui Meng 和 Jinsung Yoon(兼通讯作者)。

截至目前,PaperBanana 已在开源社区 GitHub 揽获上千 star,感兴趣可以继续关注。

项目主页:

https://dwzhu-pku.github.io/PaperBanana/

论文:

https://arxiv.org/abs/2601.23265

GitHub 地址:

https://github.com/dwzhu-pku/PaperBanana

参考链接:

[ 1 ] https://x.com/AlphaSignalAI/status/2018815238829928711

[ 2 ] https://x.com/dwzhu128/status/2018405593976103010

欢迎 AI 产品从业者共建

「AI 产品知识库」是量子位智库基于长期产品库追踪和用户行为数据推出的飞书知识库,旨在成为 AI 行业从业者、投资者、研究者的核心信息枢纽与决策支持平台。

一键关注 点亮星标

科技前沿进展每日见

相关标签