多模态模型，终于不只是 " 会看 " 或者 " 会画 " 了。
字节跳动 Intelligent Creation Lab 这次开源的Lance，直接把图像和视频的理解、生成、编辑塞进了同一个原生统一模型里。
更反差的是，Lance 不是动辄几十 B、上百 B 参数的大块头，而是一个激活参数只有 3B的原生统一多模态模型；
在最大 128-GPU 训练预算下，就把视频生成、视频理解、图像生成、图像编辑四类任务一起跑通了。
成绩也已经摆上桌：
VBench 85.11，MVBench 62.0，GenEval 0.90，GEdit-Bench 7.30。
换句话说，它不是只在某一个单项上 " 刷存在感 "，而是把图像和视频的 " 看、画、改 " 放到同一张考卷上一起考。
统一多模态这条路，开始往 " 小而全 " 卷了。
统一多模态这件事，听起来很自然：
人可以一边看图、一边看视频、一边描述、一边修改，模型为什么不行？
但真做起来，问题就来了。
只做理解，生成能力缺位；只做生成，问答和推理又不够；把多个模块拼起来，系统复杂、训练成本高，还很难形成真正的跨任务迁移。
所以说，现在的模型做起来，要么模型太大，训练和部署成本高；要么能力覆盖不全，尤其视频这块，经常只做生成或只做理解。
Lance 要解决的，正是这个长期痛点。
它把 X2T、X2I、X2V 三类任务统一起来：图像 / 视频到文本理解，文本到图像 / 视频生成，以及图像 / 视频到图像 / 视频编辑。
这样一来，模型不是只会 " 看 " 或者只会 " 画 "，而是能在同一套上下文里处理不同模态和不同任务。
更有意思的是，团队观察到：任务覆盖越完整的统一模型，越容易出现 emergent generalization，也就是跨任务的涌现泛化。
也就是说，多任务不是简单拼盘。任务之间可能真的会互相 " 喂经验 "。
这类榜单本身不是论文指标，但能说明一件事：社区对轻量级原生统一多模态模型的需求很直接。
毕竟，3B 激活参数、同时覆盖图像 / 视频理解生成编辑，还开放模型权重和代码，这几个关键词放在一起，对研究者和开发者都相当有吸引力。
Lance 覆盖的不是单点能力，而是一整组图像 / 视频任务：能看图、能看视频，能文生图、文生视频，也能按自然语言直接改图、改视频。
先上视频生成。
给它复杂文本指令，Lance 能生成具备自然运动、稳定时序一致性和清晰视觉细节的视频内容。
它不是改一张关键帧糊弄过去，而是连续三轮改视频：
先把短直发改成法式卷发，再加红白花朵发箍，最后把背景换成湖边童话城堡。
难点在于，人物还得是同一个人，动作不能乱，前后帧也不能闪成 PPT。
视频理解也在同一套框架里。
Lance 不只是识别画面里有什么，还要理解动作、时序变化、OCR 信息和上下文关系，进而完成视频问答与细粒度描述。
图像侧也一样。
文生图任务里，Lance 能处理数量关系、属性绑定、空间布局和风格控制等复杂 prompt。
图像编辑则覆盖主体增删、局部替换、风格迁移、动作调整和自由形式编辑。
核心要求还是一个：听懂自然语言指令，同时尽量保持主体身份、画面结构和视觉一致性。
图像理解方面，Lance 还能做 OCR、知识问答、多图理解和空间关系判断。
这也说明，它不是把生成模型硬塞进一个聊天入口，而是把理解、生成、编辑都放进同一个原生多模态系统里。
Lance 的核心思路可以拆成两件事：
第一，把文本、图像、视频都放进同一个交错多模态上下文里。
第二，把理解和生成的能力路径拆开，避免它们互相打架。
具体来说，Lance 用的是 dual-stream mixture-of-experts 架构。
理解路径处理文本 token 和语义视觉 token，负责图像 / 视频理解、问答和推理。
生成路径处理 VAE latent token，负责图像 / 视频生成与编辑。
两条路径共享同一个多模态上下文，但在内部表征和模型容量上保持解耦。
这有点像同一个工作台上，两组人看同一份材料：一组负责理解和判断，另一组负责生成和修改。信息能互通，但具体干活的工具不混用。
为什么需要它？因为在统一序列里，视觉 token 的角色并不一样。
有的 token 是语义 ViT token，用来理解；有的是 clean VAE token，用来当生成条件；还有 noisy VAE token，是生成目标本身。
果只用普通位置编码，模型容易把这些 " 长得像、作用不同 " 的 token 搞混。
MaPE 做的事情，就是在时间维度里加入模态 / 功能组信息，让模型知道：谁是来帮忙理解的，谁是生成条件，谁才是要被去噪生成的目标。
其中一个挺关键的发现是：
持续训练阶段即便不额外加入基础生成数据，只加入更多编辑、主体驱动生成等多任务数据，基础生成能力仍然继续涨。
这说明多任务数据不一定会 " 稀释 " 生成能力，反而可能帮助模型学到更强的组合、对齐和跨任务迁移。
先看图像生成。
Lance 在 GenEval 上达到 0.90，与统一模型中的最佳总体分数持平，在计数、颜色、空间位置等组合生成维度上表现突出。
Lance 在 VBench 上取得 85.11，在统一模型中表现领先，同时在视觉质量、对象语义对齐、颜色一致性、空间关系、场景理解、时序风格等维度保持稳定。
这点比较关键：它说明加入视频生成和编辑能力，并没有把视频理解能力拖垮。
论文地址：https://arxiv.org/abs/2605.18678
Homepage：https://lance-project.github.io
Code ( GitHub ) ：https://github.com/bytedance/Lance
Code ( HuggingFace ) ：https://huggingface.co/bytedance-research/Lance
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
我们正在招聘一名眼疾手快、关注 AI 的学术编辑实习生
感兴趣的小伙伴欢迎关注 了解详情
科技前沿进展每日见
