要想让预训练大语言模型（LLM）获得新能力，至少需要修改多少权重？
一项最新研究给出的答案是：不到 0.05%，而且只需要将这些权重置零。模型保留下来的权重，仍然使用预训练时的数值。
来自纽约大学的研究团队及其合作者提出了 " 删除调优 "（Deletion Tuning），按照他们的实验结果，仅学习删除哪些权重，就能在可验证奖励强化学习（RLVR）、监督微调（SFT）与同策略蒸馏（OPD）这 3 类后训练范式各自测试的最大模型规模下，达到与全参数微调（FFT）相当的表现。
全参数微调允许模型改变每个参数，LoRA 学习低秩更新，稀疏微调则调整选定位置上的权重数值。Deletion Tuning 将可学习的变化限制为一种选择，即哪些预训练权重应当保留，哪些应当删除。
这与通常的剪枝目标有所不同。剪枝通常希望在删除权重后，保留模型已经具备的能力，以提高推理效率。Deletion Tuning 则将删除本身作为后训练手段，检验模型能否由此获得新能力。
它学习的对象，是 transformer 模块中门控投影权重上的二值掩码。部署时，每个目标权重只有两种状态，保留预训练数值，或者置零。学习得到的掩码，就是整个适配器。
因此，关键在于如何选择删除位置。他们在分析中确认，性能收益来自掩码的学习，而非初始化时使用的 Wanda 先验。
在这项工作中，强化学习实验采用组相对策略优化（GRPO），同策略蒸馏实验采用自蒸馏微调（SDFT）。实验覆盖 Llama 和 Qwen 两个模型家族，以及参数规模从 5 亿至 300 亿的 8 种骨干模型，同时包含分布内与分布外评估。
在 GRPO 设置下，Deletion Tuning 在 Qwen14B 和 Qwen3-30B-A3B 混合专家模型上达到与全参数微调相当的表现。在 SDFT 设置下，对应模型为 Qwen7B。在 SFT 设置下，对应模型为 Llama3B。这些结果覆盖了推理、领域知识和工具使用任务。
删除带来的变化也体现在具体问题上。在 GRPO 实验中，Deletion Tuning 能够解决一些基座模型在 128 次采样尝试中全部失败的问题。
除了获得新能力之外，他们还考察了模型保留旧能力的情况。在 GRPO 能力保留实验中，Deletion Tuning 在整个训练过程中，使既有任务准确率保持在接近基座模型的水平。作为对比，全参数微调、LoRA 和随机稀疏微调的既有任务准确率最多下降了 5.4 个百分点。
在所测试的三种 Llama 模型规模上，Deletion Tuning 的前向 KL 散度也保持较低水平。他们指出，这与前向 KL 散度能够预测遗忘程度的已有研究结果一致。
二值掩码还直接改变了适配器的存储形式。Deletion Tuning 只需要记录保留与删除的选择。在三类后训练范式中，训练得到的掩码比对应的全参数微调检查点小数百至数千倍。在主要的 GRPO 对比实验中，它甚至小于秩为 1 的 LoRA 适配器。
为什么如此有限的修改，能够达到全参数微调的表现？他们进一步比较了不同方法所学权重更新的几何性质，考察稳定秩、谱漂移和主权重重叠度三项指标。在这三项指标上，Deletion Tuning 都比 LoRA 和随机稀疏微调更接近全参数微调。他们认为，这有助于解释仅靠删除也能取得相当表现的原因。
这项方法的局限性在于训练显存开销。Deletion Tuning 在训练过程中，需要为每个被掩码覆盖的权重保留一个可学习的 logit 参数，因此其训练显存占用低于全参数微调，但高于 LoRA。
在未来工作方面，他们提出，可以将这些参数限制在一小组候选权重上，以缩小与 LoRA 的显存差距。他们还希望在连续任务上检验 Deletion Tuning 的持续学习能力，并通过比较不同任务删除的权重，定位后训练对模型造成的变化。不同任务的掩码也可能通过取并集等方式组合，在无需进一步训练的情况下合并技能。此外，他们提出，将掩码限制为 N ∶ M、按通道或分块等模式，或许能够同时实现模型适配与压缩。
更多技术细节，详见原论文。
作者：张佳怡
如需转载或投稿，请直接在本文章评论区内留言
