Token 词元替代了 Byte 字节，但不意味着大模型都得是 Token。
字节模型，特别是蒸馏后，有点儿新说法。
最近，来自 Meta FAIR 和华盛顿大学的论文《突破 Token 天花板：蒸馏出更小、更强的字节模型》，提出了一个很有趣的想法——
蒸馏的时候，能不能把学习单位从词元（Token）换成字节，让学生模型直接从字节（byte）级别的概率分布学起？
团队给每个 Token 加上结束标记，把教师的 Token 概率分布完整转换到字节级别。在以 Llama 3-8B 为教师的蒸馏实验中，团队根据缩放定律预测：
随着训练计算量增加，字节级蒸馏将反超 Token 级蒸馏，下游平均准确率上限高出4 个百分点。
换句话说，学习的基本单位反而更小了，模型最终能学到的能力上限却更高了。
这是怎么做到的？
字节级蒸馏
其实到今天，蒸馏已经不是什么陌生技术了。我们都知道，大的模型能力更强，但把它部署到实际应用中，显存、计算和响应速度都是成本。
于是，一个常见做法，就是让大模型当老师，把能力蒸馏给更小的学生模型。
和普通监督训练只告诉模型 " 下一个正确 Token 是什么 " 不同，蒸馏还会让学生学习教师对各个候选 Token 的概率判断。
如果做离线蒸馏，把完整概率分布全部保存下来，存储成本会非常高。因此实际操作中，通常只能保留概率最高的一部分，也就是top-k 截断。
而字节模型，刚好把这个候选空间一下压小了。
一个字节由 8 个比特组成，共有 256 种可能的取值。即使加上少量特殊符号，每个位置需要保存的概率也不过两百多个，完整分布自然更容易保留下来。
不过，教师预测的是整个 Token，学生预测的是单个字节。要让两者对上，不能只把文本拆开，还得把教师的概率分布一起转换过去。
这正是论文首先解决的问题。
具体的，团队提出了两种方案，分别叫作Marginalize-It和End-Of-Token。
以论文里的 Tiramisu 为例，它可能被 tokenizer 切成 T、iram、isu 几个 Token。
假设教师在预测下一个 Token 时，候选里同时有 isu、isk 和 is。
这三个候选都以字节 i 开头，那么预测第一个字节时，就可以把所有以 i 开头候选的概率加起来。
等真实前缀变成 i，再只保留前缀匹配的候选，继续计算下一个字节的概率。
沿着真实字节序列不断重复，就能把原本的 Token 分布，一步步拆成逐字节的训练目标。
第一种方法 Marginalize-It，直接聚合并重新分配概率。
不过，麻烦出现在不同 Token 长度不一样的时候。
比如已经走到前缀 is，isu 和 isk 后面都还有字节，但 is 这个 Token 已经结束了。
这时，如果还想知道 is 之后接什么，就需要继续查询教师在这个 Token 结束后的预测；而不同候选路径，又可能对应不同的后续分布，计算量会迅速增加。
Marginalize-It 的处理很直接：
已经结束的候选就不再往后追，把剩余候选的概率重新归一化。
这样只需要一次教师前向计算，效率很高，但代价是会丢掉一部分已经结束 Token 的概率信息，因此本质上是一种近似。
第二种方法 End-Of-Token，则给「Token 结束」留了一个位置。
End-Of-Token 则换了一个思路：既然 Token 会结束，那就干脆给 " 结束 " 本身一个明确的预测位置。
具体来说，团队在每个 Token 末尾加入一个特殊符号。于是原来的三个候选就变成：isu、isk 和 is。
这样，当已经走到前缀 is 时，学生接下来既可以预测 u，也可以预测 k，还可以预测，表示当前 Token 到这里结束。
原本因为长度不同而 " 悬空 " 的那部分概率，就有了明确去处。
因此，End-Of-Token 可以在保留 Token 边界的同时，更完整地把教师分布映射到字节空间。
而且，两种方法都只需要教师做一次前向计算，就能完成从 Token 分布到字节分布的转换，不必为了不同分词路径反复调用教师模型。
到这里，教师模型的知识，总算可以真正交到字节学生手里了。
接下来要看的，就是它到底能学到多少。
实验验证
团队分别测试了 Token、普通字节和带的字节三种表示，每种再分为监督训练与蒸馏训练，一共六组。
这样既能比较蒸馏有没有帮助，也能观察改变学习单位后，模型的训练表现如何变化。
教师统一使用 Llama 3-8B。三类学生的 Transformer 层参数量相同，均约为 12.8 亿。
计入词表相关参数后，总参数量则有所不同：Token 学生约 18.1 亿，字节学生约 12.8 亿。
研究逐步增加训练数据和计算量，字节模型的训练覆盖约万亿字节规模，再在选择题问答、语言生成和机器翻译三类任务中完成八项评测。
Token 模型在计算量较小时学得更快，但很快开始接近平台期；字节模型起步更慢，却随着计算量增加持续改善。
也就是说，Token 模型赢在前期效率，字节模型则表现出了更好的 Scaling 潜力。
之所以这样，是因为 BPB 衡量的是模型对文本预测得准不准，而下游任务看的是最后答案能不能选对，两者并不是一回事。
结果表明，三种蒸馏方案的预测平均准确率上限分别是：
Token 蒸馏 48.4%，Marginalize-It 蒸馏 50.5%，End-Of-Token 蒸馏 52.4%。
不过，蒸馏的优势并非在所有预测中都成立。
普通字节监督模型的渐近准确率预测为 51.2%，高于 Marginalize-It 蒸馏的 50.5%。
论文认为，这里的原因很可能就是前面提到的：Marginalize-It 为了省计算，丢掉了一部分 Token 结束后的概率信息。
而能够更完整保留教师分布的 End-Of-Token，则同时超过了自己的监督版本和其他所有方案。
在最后，实验还表明字节级蒸馏能显著降低数据和教师分布的存储压力。
团队还把这些渐近预测，与现有开放权重模型进行了比较。
按照论文的预测计算预算，End-Of-Token 处理的实际文本量约为 Token 方案的六分之一；
在 Token 只保存 top-600、字节保存完整分布的设置下，存储量也只有约五分之一。
尤其 End-Of-Token 还在每个 Token 后加入了，处理相同文本量时，训练计算量比普通字节模型还要再高约 30.94%。
与此同时，推理成本也是同样的问题，论文目前还没有完成等推理成本下的公平比较。
所以总的来说，这项工作展示了一条小模型训练的新路径：把教师的知识转换到字节级别，让学生用更小的预测空间、更少的训练文本，争取更高的能力上限。
End-Of-Token 在这组实验的外推中表现最好，但要兑现这一潜力，还需要继续投入计算。
作者介绍
最后，让我们介绍一下文章的作者们。
论文一作Kalyani Marathe是华盛顿大学博士生，师从 Luke Zettlemoyer，研究兴趣主要集中在大模型训练、模型架构与 Scaling。
她此前曾在 Meta AI Research 实习，也在 Amazon Robotics 的 Foundation Models 团队工作过。
他也是 Byte Latent Transformer（BLT）和 QLoRA 的核心作者之一，后者将大模型微调的显存需求大幅降低。
他主要研究大语言模型如何学习和迁移能力，尤其关注数据、模型内部机制、Tokenization，以及低资源语言和模型鲁棒性。
她的研究涉及大模型高效训练与生成、条件计算、可控性和安全，此前还曾担任 FAIR 研究工程师，参与开放域对话等方向的研究。
他此前参与了 RoBERTa、BART、CICERO、kNN-LM、Attention Sinks 和 Top-k Sampling 等多项代表性工作。
他曾获得美国总统青年科学家与工程师奖（PECASE），并在顶级 NLP 会议上获得十余项论文奖。
他在华盛顿大学获得计算机博士学位，师从 Luke Zettlemoyer 和 Alvin Cheung，博士阶段重点研究自然语言与通用源代码的联合建模。
[ 1 ] https://arxiv.org/pdf/2609.12303
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
点亮星标
科技前沿进展每日见
