智猩猩 AI 整理
编辑：林夕
模型明明能画对球衣上的号码，转头问它 " 这件球衣是几号 "，却答不上来。
10 月 15 日，清华大学与智谱唐杰团队在 arXiv 发布新论文《Can Visual Generation Expand What Unified Multimodal Models Know?》。
研究团队提出知识迁移探测协议Knowledge Transfer Probing（KTP），检验统一多模态模型通过图像生成学到的知识，能否用于纯文本问答。
研究聚焦统一多模态模型中的一个问题：
通过图像生成学到的知识，能不能被文字问答调用？
研究团队以 BAGEL、SenseNova-U1 和智谱内部模型 GLM-Omni为实验对象发现，模型能够在生成图片时复现的信息，往往无法直接通过文字调出。
其中，论文还披露了 GLM-Omni 的部分技术细节：
它从GLM-4.1V-Thinking的预训练基础检查点初始化，采用基于 X-Omni 的离散图像 tokenizer，具备图像理解与生成能力，并被用于探索图文交错推理。
针对视觉知识难以被文字调用的问题，研究团队探索了图文交错对齐，将图像生成、视觉观察和文字回答放进同一条训练序列。
受控实验显示，相比文字对齐，图文交错对齐提高了三个模型的平均文字问答准确率。
推理时进一步引入" 先生成图片、再回答 "的视觉思维链，表现还能继续改善。
这项研究试图弄清楚：理解与生成统一之后，模型能否真正用上通过画图学来的知识。
01
把答案藏进图片，
追踪视觉知识的去向
一张照片所包含的信息，往往比配文丰富得多。
例如，文字可能只提到一座建筑的名称，图片却完整呈现了它的门窗结构、装饰细节和空间关系。
学习生成这张图片时，模型接触到的信息，也就超出了文字描述的范围。
但这些信息是否会成为模型能够用语言调用的知识，不能只看生成图片的效果。
研究团队为此提出了 KTP，通过一套受控实验追踪知识来源。
首先，研究团队构建了一个名为MagicWorld的虚构世界，使用不存在的人物、物品和地点名称，尽量避免模型依赖预训练阶段记住的内容。
每条知识由实体—属性—属性值组成，例如某个虚构人物的球衣号码、某面虚构旗帜的颜色顺序。
训练时，文字提示只要求生成对应对象，不透露目标属性值。答案只出现在训练图片中。
测试时，再把图片拿走，直接用文字提问。如果模型能够答对，就说明仅通过图像生成训练提供的信息，已经能够被语言访问。
数据集共覆盖七类任务，每类包含 50 个知识单元，再通过不同场景和视角进行扩展，最终得到 8,552 条文生图训练样本。
研究团队还检查了文字描述，避免它们直接或间接泄露答案，并对属性值分布进行近似平衡，减少分布偏差带来的影响。
评测分为两个方向。
将两项结果对照，就能观察知识究竟没有被学会，还是已经能被画出来，却难以用文字提取。
02
从分开训练，到图文交错
研究团队选取了三种不同设计的统一多模态模型进行实验：BAGEL、SenseNova-U1，以及内部开发的 GLM-Omni。
其中，GLM-Omni 从 GLM-4.1V-Thinking 的预训练基础检查点初始化，采用基于 X-Omni 的离散图像 tokenizer。
围绕视觉知识如何进入文字回答，研究团队比较了三种训练条件。
第一种是直接迁移：通过文生图训练提供目标知识，不增加针对这些知识的文字问答监督。
第二种是文字对齐：选出部分实体，额外提供文字问答示例，帮助模型建立视觉知识与语言回答之间的联系。
第三种是图文交错对齐：让模型在同一条回答中生成相关图片、观察图片内容，再继续推理并给出文字答案。
两种对齐方式的区别，在于生成和回答是否被直接连接。
文字对齐将图像生成与文字问答放在不同样本中训练；图文交错对齐则示范了一个完整过程，让模型学习如何借助生成的视觉内容回答问题。
这里有一项关键设置：接受额外对齐监督的实体，与最终测试的实体互不重叠。
每类任务中的实体被分成两组，一组用于对齐，另一组用于测试。
测试实体的目标属性，仍然只出现在文生图训练图片中，没有对应的文字答案监督。
因此，测试成绩的提升，才能说明训练效果超出了直接教过的答案。
研究团队还进一步引入了视觉思维链（Visual CoT），允许模型在回答问题时先生成图片，再结合图片继续推理。
它与图文交错训练是两个不同环节：前者改变推理过程，后者改变训练方式。
图文交错训练后的主要评测，仍然要求模型直接用文字回答，不生成中间图片。
这一设计，也让研究团队能够分别检查训练方法和推理方式带来的作用。
03
画得出未必答得对，
图文交错改善了多少？
实验首先揭示了视觉与文字访问之间的明显落差。
在直接迁移条件下，GLM-Omni 生成图片正确复现目标知识的平均比例为54.00%，纯文本问答平均准确率则为14.57%，相差 39.43 个百分点。
另外两个模型同样存在视觉复现明显好于文字回答的现象。
加入对齐训练后，三种模型呈现出不同变化。
BAGEL 和 SenseNova-U1 的平均成绩有所提高，GLM-Omni 则从 14.57% 下降到 12.57%。
相比之下，图文交错对齐在三个模型上的平均成绩都高于文字对齐。其中，GLM-Omni 的变化最明显，平均准确率达到 26.86%。
分任务来看，其形状任务从文字对齐下的 12% 提高到 64%，空间关系任务从 0% 提高到 40%。
为检查提升来自哪里，研究团队进一步进行了消融实验：保留相同的图文交错序列和文字监督，只屏蔽交错样本中图像部分的损失。
GLM-Omni 的平均准确率随之从26.86% 降至 13.71%。
这一结果支持了图像生成监督的实际贡献：只保留交错形式与文字监督，无法维持原有的知识迁移效果。
推理方式也会影响结果。
在完成图文交错训练后，如果允许模型先生成图片再回答，三个模型的平均成绩都进一步提高。
GLM-Omni 的平均准确率达到41.14%，比直接文字回答提高 14.28 个百分点。
数字任务的变化尤其直观：
但这道知识鸿沟仍未消失。
研究团队进一步检查发现，即使采用图文交错对齐，在那些图片生成正确的知识中，三个模型对应的文字问答正确率仍均低于 50%。
也就是说，能够准确画出的信息，仍有相当一部分无法被文字问答顺利调用。
04
GLM-Omni 现身，
下一代 GLM 要补齐多模态了？
这项研究之外，论文中出现的GLM-Omni，也为观察智谱后续模型提供了一条线索。
此前，GLM 主力模型的升级重点，更多落在编程、复杂软件工程和长流程 Agent 任务上。
GLM-5.3 的官方介绍也将这些能力作为主要进展。
而一篇近期研究明确将 GLM-5.2 和 GLM-5.3 列为不具备原生视觉能力的语言模型，并尝试通过外接视觉适配器为它们增加视觉能力。
在这样的背景下，GLM-Omni 的出现才显得值得关注。
论文展示的探索已经涉及图像理解、图像生成，以及视觉知识向文字回答的迁移。
这让人联想到，智谱后续 GLM-5.4/5.5是否会进一步补齐多模态能力，并尝试让生成与推理相互促进。
关注 + 星标，获取 AI 前沿进展与开源一线动态
