当大语言模型生成海量数据时，数据存储的难题也随之而来。
对此，华盛顿大学（UW）SyFI 实验室的研究者们提出了一个创新的解决方案：LLMc，即利用大型语言模型自身进行无损文本压缩的引擎。
基准测试结果表明，无论是在维基百科、小说文本还是科学摘要等多种数据集上，LLMc 的压缩率都优于传统的压缩工具（如 ZIP 和 LZMA）。同时，与其他以 LLM 为基础的闭源压缩系统相比，LLMc 也表现出同等甚至更优的性能。
LLMc 的压缩机制
LLMc 的灵感来源于实验室一年前的一次内部讨论。当时，研究者们面临一个核心挑战：LLM 推理中涉及的内核操作具有高度的非确定性，这使得精确、可复现的压缩和解压变得困难。
但随着业界在确定性 LLM 推理方面取得突破，这一问题迎刃而解，也为新引擎的诞生铺平了道路。研究团队顺势快速构建了 LLMc 的原型，并成功证明用 LLM 进行高效压缩的可行性。
LLM 与数据压缩之间的联系根植于信息论的基本原理。
香农的信源编码定理（source coding theorem）指出，一个符号的最优编码长度与其负对数似然（negative log-likelihood）成正比。简而言之，一个事件的概率越高，编码它所需的信息量就越少。
由于 LLM 的核心任务是预测下一个词元（token），一个优秀的 LLM 能够为真实序列中的下一个词元赋予极高的概率。
这意味着，LLM 本质上就是一个强大的概率预测引擎，而这正是实现高效压缩的关键。LLMc 正是利用了这一原理，将自然语言的高维分布转换为结构化的概率信息，从而实现前所未有的压缩效果。
LLMc 的核心思想是一种名为 "基于排序的编码"（rank-based encoding）的巧妙方法。
在压缩过程中，LLM 会根据当前上下文预测下一个可能出现的词元，并生成一个完整的概率分布列表。在大多数情况下，真实出现的那个词元总是在这个预测列表的前几位。
LLMc 并不直接存储词元本身（例如其 ID），而是存储该词元在概率排序列表中的 " 排名 "（rank）。这些排名通常是非常小的整数，因此占用的存储空间极小。
在解压时，系统使用完全相同的 LLM 和上下文来重现当时的概率分布。然后，它只需读取之前存储的 " 排名 "，就能准确地从列表中选择对应的词元，从而无损地恢复原始文本。
在这个过程中，LLM 本身就像一个压缩器和解压器之间共享的、容量巨大的 " 密码本 " 或参考系统。
挑战与局限性
尽管 LLMc 取得了突破性的成果，但研究团队也指出了当前版本存在的一些挑战和局限性。
效率问题：LLM 推理的计算复杂度与序列长度成二次方关系，且长序列推理受到内存带宽的限制。为了缓解这一问题，LLMc 采用了分块处理文本的策略，以提高 GPU 利用率并降低计算开销。
吞吐量：由于严重依赖大规模模型推理，LLMc 目前的处理速度远低于传统压缩算法。
数值稳定性：为了保证解压过程的确定性，系统需要使用特殊的内核（batch_invariant_ops），并对词元排名进行整数编码，而非直接使用对数概率。
应用范围：当前实现主要针对自然语言。如何将其扩展到图像、视频或二进制数据等其他模态，是未来值得探索的方向。
参考链接：https://syfi.cs.washington.edu/blog/2025-10-03-llmc-compression/
Github 网址： https://github.com/uw-syfi/LLMc
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
点亮星标
科技前沿进展每日见
