Tufa Labs 开源 tufazip:纯神经网络无损压缩跻身老牌榜单第二
Tufa Labs 的 Tommy He 发布并开源了无损压缩工具 tufazip,把 Transformer 的下一字符预测能力用于数据压缩:模型预测字符概率分布,再通过算术编码转化为更紧凑的表示。它在 enwik9(10 亿字节维基百科文本)上实现严格无损压缩,解压后逐字节还原原文。tufazip 在已有 20 多年历史的 Large Text Compression Benchmark 上拿下榜单第二名(提交时),是榜单上首个以神经网络作为唯一预测模型取得最佳成绩的条目——排名更高的条目都不是纯神经网络方案。
已确认
- 将 enwik9(1GB 维基百科文本)压缩至 105.39MB,体积减少近 90%,且为真无损压缩
- 模型为 163M 参数的 Transformer,是榜单上唯一以神经网络作为唯一预测器的条目
- 压缩过程耗时约 7 天,使用双 B200 GPU
- tufazip 已开源,由 Tufa Labs 的 Tommy He 发布
- 原理上语言模型越能预测下一个字符,压缩率理论上越高,tufazip 是该思路的工程实现
为什么重要
- 验证了「神经网络是最好的压缩器」这一观点:在老牌公开基准上,纯神经方法首次跻身最佳成绩之列,为 LLM 与信息论的等价性提供了实证
- Reddit 等社区已开始讨论本地部署方向:@Terminator857 提及有讨论称借助神经压缩,本地存放维基百科文本或只需约 27GB 级别的空间,显示了 AI 压缩在存储侧的潜力
- 但算力与时间成本(双 B200 跑 7 天)表明该路线目前仍偏研究性质,距日常实用还有距离
2026-11-19 ~ 2026-11-20 · 5 条相关
一手来源
- tufazip 用163M Transformer 压缩10亿字节维基百科,拿下老牌压缩榜第二 — adnan_hashmi ·
- tufazip 用 Transformer 把 1GB 维基百科无损压到 105MB,代价是双 B200 跑 7 天 — aigclink ·
- 27GB 就能本地装下维基百科?tufulabs 用神经压缩实现 tufazip — Terminator857 · 2026-11-19
- Tufa Labs 用纯神经网络把 1GB 维基百科无损压到 105.39MB — philipvollet · 2026-11-19
- tufazip 用 Transformer 无损压缩维基百科:1GB 压到 105MB,耗时 7 天 — aigclink · 2026-11-20
另有 2 条近重复转述:aigclink · adnan_hashmi