关于ZAKER Skills GEO服务 合作
钛媒体 32分钟前

曾妍的新论文,就是字节“ 10 万亿”路线图

文 | 字母 AI

95 后的曾妍,正在快速晋升。

曾妍于 1997 年出生,2021 年以校招的方式进入字节,后来成为了 Seedance 的预训练负责人。字母 AI 在文章《字节的 " 罗福莉 ",撑起了 Seedance 的半边天》中曾对她进行过详细报道。

如今有传言称,曾妍的头衔已经上升为 Seedance 核心负责人。早在今年 3 月时,曾妍的职级还是 3-2,而到了 11 月,她的职级达到了 4-2,实现一年连跳两级。并且曾妍从原 Seed 核心负责人周畅手中,接过了越来越多的工作。

在人才密度极高的字节 Seed 团队,这样的速度并不多见。

究其原因,或许是因为曾妍的路线更贴合张一鸣的想法。曾妍作为项目负责人,带队发表的论文就是最好的例证。

这篇论文名为《Cola2:把视频生成领域的扩散模型与连续隐空间方法用于语言建模》,其权重于 11 月上半旬开放在 Hugging Face 上。

论文提出了一种方法,让模型通过生成视频的方法来处理文字。根据论文披露,这种方法不仅更节省算力,而且还让生成的效果更好。

这篇论文同时也是一份路线图。

曾妍从扩散模型出发,相信规模效应的路线,与外媒爆料中,张一鸣亲自带队的超大参数模型理念一致,也契合张一鸣在字节内部会上提出的长期主义。

在算力饥渴的当下,字节很难支撑多线并行的策略。于是字节将部门合并,多线赛马转向了集中押注。先在一个模态上打赢,再让赢的人带着方法走向其他模态。

曾妍的路线,就是这场押注。

Cola2 讲了什么

在解释 Cola2 这篇论文之前,得先科普一个事。

当下主流的大语言模型,比如 DeepSeek、Qwen、豆包,它们用的都是同一种办法,叫 " 自回归 "。如同成语接龙一样,根据前面已经写出来的内容,猜下一个 token 是什么,猜完一个再猜下一个,从左到右,一个一个往外蹦。

这套办法很成功,但它有个天生的毛病,就是没法像我们写文章一样,提前写个提纲出来。

人写文章的时候,往往是先想好这段要讲什么,再去组织语言。自回归模型是边写边想,写到哪算哪,而且必须排队,只要前一个字没写,那这辈子也别想写后一个字。

Cola2 的思路,是把写字这件事拆成两层。

第一层,先在一个叫 " 连续隐空间 " 的地方,把 " 要说什么 " 想清楚;第二层,再把想好的意思,落成一个个具体的字。

相当于第一层是列提纲,第二层是照着提纲把正文写出来。

虽然 " 隐空间 " 这个词带点科幻色彩,不过其实用 AI 生成视频的人天天都在用。

一段视频的原始数据是很大的,如果直接拿来训练,那会导致算力不够。所以视频生成模型的通行做法,是先把画面压成一个体积小得多的 " 压缩包 ",模型在压缩包里干活,最后再解压成一帧一帧的画面。

在压缩包里干的活叫做 " 扩散 "。这跟过去冲洗照片一样,一开始是一张全是雪花点的底片,模型一步步把噪点擦掉,画面就慢慢浮现出来。

Cola2 的逻辑,就是把 " 生成文字 " 当成 " 生成视频 " 来处理。

这个逻辑早在第一代的 Cola DLM 上就已经有了,但 Cola DLM 有短板。Cola2 的论文表示,Cola DLM 在生成类任务上偏弱,问题出在负责 " 写正文 " 的那个解码器上。于是 Cola2 的主要作用,就是来弥补这个短板,它比上一代多做了三件事。

第一件,是学会按意思切。

想要像压缩视频一样压缩文字,就先要决定好到底去怎么切块。

老办法是死板地按长度切,比如每两个 token 一块,结果 " 北京烤鸭 " 就有可能被切成 " 北京 " 和 " 烤鸭 ",也可能被切成 " 京烤 " 这种不知所云的东西。

Cola2 改成按意思动态切,平均每两个 token 压成一个 " 提纲点 ",具体哪几个放在一起,由内容来决定。

压缩多少,靠的是一个类似空调恒温器的负反馈机制。压得太狠,比如 " 北 "、" 京 "、" 烤 "、" 鸭 " 就自动松一点。压得太松,比如 " 北京烤鸭好吃 ",就自动紧一点,始终稳在目标附近。

实验里,按意思切比按固定长度切,准确率高 8.2%。更有意思的是,在合适的设置下,压缩之后的成绩(29.4%)比完全不压缩(28.7%)还略好一点。说明压掉的主要是 " 水分 "。

第二件,是让写正文的人既能照着念,也能自己编。

如果解码器只会照着提纲念,那提纲一出错,整篇文章自然就全错了。所以 Cola2 训练解码器时,故意给它三种提纲:一种清清楚楚,一种被加了噪点、看不太清,还有一种干脆不给提纲。

就像训练一个演员,提词器有时候清楚,有时候花屏,有时候直接黑了,他都得能往下演。

最后选定的比例是,只有两成情况给清楚的提纲,剩下八成都是模糊的或者没有的。即便这样,解码器照着清楚提纲还原原文的准确率,仍然保持在 99.5% 以上。

到了真正写东西的时候,再用 CFG 这个旋钮,调节 " 听提纲的 " 和 " 自己发挥的 " 各占多少。

第三件,是让提纲和正文一起训练。这也是副标题里 Co-Adaptive(协同适应)所指的事情。

以前的做法往往是先把 " 压缩器 " 训练好、冻住,再去练写正文的。

如果提纲模板定死了,那在写文章的时候,即便发现提纲有问题,提纲那边也是全然不管。Cola2 干脆让两边一起练,写正文的觉得哪里不够用,信号就会传回去,逼着提纲那边调整。

实验结果里,如果把压缩器完全定死不允许修改,成绩是 47.6%。两边一起练,涨到 53.5%。再加上一个允许压缩器学会 " 预判后文 " 的训练目标,成绩就会提升到 58.2%。

这里还有个反直觉的设计。负责列提纲的 DiT,只准学,不准反过来改压缩器。

Cola2 在训练上用了约 3460 亿个 token,模型还没收敛,8 项任务平均 60.10 分,在 HellaSwag 和 StoryCloze 两项上超过了 Llama-3-8B。而 Llama-3 公开的预训练量在 15 万亿 token 以上,是它的 43 倍多。

而在算力方面,按照论文的说法,因为平均两个 token 压成一个提纲点,DiT 要处理的序列短了一半,理论上,它主要的计算量会降到原来的一半,注意力部分降到四分之一。

论文最后一部分写到:模型 " 远未收敛 ",尤其是 DiT。训练规模 " 受限于可用资源 "。要摸到这条路的上限,需要更大的模型、更长的训练、更多的数据和算力。

此外,论文还表示,连续隐空间可能成为文字和图像、视频之间的共享接口,通向 " 理解与生成的统一 "。

" 理解与生成的统一 ",正是周畅在字节讲了一年多,但没讲通的故事。

曾妍的路线更符合张一鸣

11 月 12 日,澎湃新闻报道,张一鸣最近在一次面向 AI 团队的全员会上说,字节有能力和 OpenAI、Anthropic 竞争,但真正追平前沿," 最早也要到 2029 年或 2030 年 "。

张一鸣表示,和海外顶尖公司比,Seed 模型的预训练数据规模 " 仍然少了 ",这是眼下最需要关注的问题。同一时间,外媒报道称,Seed 正在预训练一款参数最高可达 10 万亿的模型。

数据不够、模型要往大做、要坚持长期主义。这显然更偏向于曾妍的路线。周畅的路线,则和这个方向不太一样。

2025 年 7 月,原本负责视觉生成的杨建朝离开,图像生成、视频生成这条线划给了周畅。从那以后,他在字节内部开始推一套新的说法,叫 " 多模态理解与生成统一 "。

周畅的想法,是从理解这一头出发,把生成也收进来,让一个模型既能看又能画。

但这个故事没讲成。

周畅接手后,最能体现这套统一思路的成果,是今年 2 月和 Seedance 2.0 同期发布的图像模型 Seedream 5.0 Lite。

字节内部对 5.0 Lite 的评价是 "a relatively small model"(一个相对较小的模型),在结构稳定性、写实度、审美上 " 仍有改进空间 "。社区的普遍看法是,周畅懂理解,但对生成没那么熟。

一位阿里 Qwen 的研究员表示," 理解、生成统一 " 基本没有已知很有效的方案,目前没谁能做到。这种时候往里堆参数,未必能堆出结果。

今年 8 月,Seed 做了一轮组织调整,周畅起家的 VLM 被并进了大语言模型体系,从一个独立部门,变成了一个数据子部门。一位 Seed 内部人士说:" 他(周畅)丢了龙兴之地,基本就没有核心地盘了。"

其实曾妍也是做理解出身的。2021 年入职才两个月,她就以第一作者身份发了 X-VLM,研究的是怎么让 AI 把图片里的东西和文字对上号。

比如你说 " 穿红衣服的小女孩在骑自行车 ",模型得在图里准确找到那个小女孩。

2023 年转入 Seed 之后,她开始往生成这条道上走。2024 年曾妍参与的 PixelDance,解决的就是视频里人物一动就变形的问题,它是现在字节视频生成的核心技术底座,也是后面 Seedance 这个名字的由来。

Seedance 2.0 的成功,和 " 理解生成统一 " 并没有直接关系。它是把视频和音频放进同一个 DiT 里一起生成,画面和声音天生对得上。Seedance 2.0 的能力,主要来自于曾妍所擅长的 " 连续 "。

因此有 Seed 人士表示,曾妍才是 Seedance 的实际 leader,技术和决策都在她这一层。

理解和生成的训练目标不一样,数据的样子不一样,计算方式也不一样。如果硬塞进一个模型里,两边容易互相拖后腿。

就跟《射雕》里面周伯通的左右互搏术一样,左手画圆很简单,右手画方也很简单,可是两边一起就是难上加难。

在这个问题上,周畅和曾妍走的是相反的方向。

周畅是从语言模型出发,曾妍是从扩散模型出发。

更关键的是,曾妍比周畅更相信规模。

2025 年底,Seedance 团队曾经有过一次聚餐,讨论下一代模型的训练方案。曾妍提出要训一个更大的模型,参数至少 200B,也就是 2000 亿。团队里有人觉得太冒进,先训 100B 更稳妥,曾妍坚持一步到位。后来在 Seed 的正式评审会上,吴永辉和周畅都支持了她的方案。

此前,外网曾有爆料,称张一鸣正在领导字节做一个 10 万亿参数的大模型,并且身为中国首富的他亲自参与项目。显然,曾妍的路线,和张一鸣想要做的事情更贴合一些。

最后还有一层,是出身。

周畅是字节用八位数年薪挖来的,来的时候带了十几个阿里旧部,还因此引出了阿里的竞业仲裁。他在字节两年,至少两次传出离职。

一位 Seed 内部人士说:" 周畅总是玩乌龙,他每次想走,过两周又留下来。"

曾妍则是字节自己的校招生,五年做到 4-2,一路都在 Seedance 这条线上。对于字节来说,周畅和曾妍是亲疏有别。

字节正从多线赛马变成集中押注

每当字节踏进一个新领域,通常会不止成立一个团队,张一鸣更愿意同时铺好几支队伍并行探索,谁跑出来就押谁。抖音就是这么跑出来的。

做大模型也是一样。

过去两年,Seed 招了国内最多的一批顶尖研究员,分散在文本、代码、视觉、语音、推理等各个方向。据晚点报道,曾有人向他们许诺,在这里可以靠自己的创新引领 " 潮头 "。

一位曾在 Seed 的研究员说:" 每个人都想成就一番事业。"

但两年过去," 潮头 " 太多,反而成了字节在 AI 上前进的阻力。

算力是最大的问题。

大参数模型最吃的就是算力,而算力也是最稀缺、最珍贵的资源。

根据晚点的说法,尽管字节曾是在 AI 上投入最坚决的一家公司,但眼下的算力储备也难再支撑多线并行的研发模式,集中资源推进少数核心项目,成了更现实的选择。

家里孩子多,再加上以前家底厚,每个孩子都能报好几个兴趣班。现在想让一个孩子去上顶尖名校,然后考出好成绩出人头地,那其他表现一般的孩子就得少上点兴趣班了。

前面提到的字节 8 月组织调整,就是这个逻辑。

Seed 的基础模型团队新设了四个一级部门:预训练数据、强化学习、面向办公的后训练、面向对话的后训练,负责人都直接向吴永辉汇报。

公告里写到:" 合并相似工作、减少 overlap(重合),内聚在一起。"

以前 Seed 是按模态分团队的,文本、代码、视觉、推理各自有自己的数据团队、后训练团队。

这在早期有利于快速补齐各项能力,但方向一多,团队的业务就开始重合,有的方向重复投入,跨团队沟通的成本也越来越高。

模型变大不是简单地加参数,它是一个系统工程。

参数多了,需要更多、更好的数据同步跟上,否则多出来的参数只是在重复学已经学过的东西。这也就导致,即便再往里砸钱,也很难有什么收益。

5 万亿、10 万亿参数的规模,容不下每个模态各养一套数据团队、各搞一套后训练。

另外,字节希望下一代模型直接走向 Omni(全模态),也就是语言、代码、视觉、语音都进同一个底座。

正因如此,各类数据放多少、什么阶段放、怎么保持平衡,都会影响最终能力。

一位从业者对晚点说:"Omni 是行业的趋势。"

腾讯今年 7 月把多模态模型部门并给了姚顺雨负责的大语言模型部门,阿里从 Qwen3.5 开始,把视觉能力直接融进主线模型,没有再单独发通用的视觉理解模型,DeepSeek V4.1 Flash 也原生集成了视觉理解。

Seedance 已经证明,领先的模型能力可以迅速换来用户增长和 API 收入。

当然,字节也不是只看眼前收入。

张一鸣在 Seed 的一次内部会上说过,可以接受模型在一段时间内落后,希望团队把追求智能上限当作更重要的目标。

他还表示,做模型要坚持长期主义、延迟满足感,而不是用别人的输出,换一时的榜单排名。

11 月初的报道显示,Seedance 的海外收入占比已经达到 50%,过去半年海外收入涨了近 5 倍。

但在最重要的基础模型战场上,Seed 仍处于追赶状态。尤其是编程和 Agent 能力,明显落后于月之暗面、智谱这些创业公司。

张一鸣认为,字节追上前沿模型的时间," 最早也要到 2029 年或 2030 年 "。

所以字节选择曾妍,本质上是在押注一条路径:先在一个模态上打赢,再让打赢的人,带着赢下来的方法,往别的模态扩。

当年字节也是这么起家的。先在今日头条上把推荐算法跑通,再把这套打法搬到抖音上。

相关阅读

最新评论

没有更多评论了

觉得文章不错,微信扫描分享好友

扫码分享

企业资讯

查看更多内容