tufazip 用 Transformer 无损压缩维基百科:1GB 压到 105MB,耗时 7 天
aigclink · x · 2026-11-20
有人用 Transformer 做出 AI 无损压缩器 tufazip,把 1GB 维基百科文本压到约 105MB,体积减少近 90%——且是真无损,解压后逐字节还原原文。
- 原理:语言模型越能预测下一个字符,理论上文本可压得越小。tufazip 利用 Transformer 预测后续数据的概率分布,再通过算术编码把预测能力转化为更紧凑的表示。
- enwik9 成绩:原始 1GB → 压缩数据 100.96MB,加解压程序后总计 105.39MB,减少约 89.46%。
- 代价夸张:两张 NVIDIA B200,压缩约 7.3 天、解压约 7.5 天,还不含离线训练时间,目前谈不上实用。
所属事件:Tufa Labs 开源 tufazip:纯神经网络无损压缩跻身老牌榜单第二(5 条相关)→
「研究」频道最新
- Energy-Based Reasoners 论文:用能量函数引导潜空间推理与自适应停止 — kalyan_kpl · 2026-11-22
- Lean 社区通过机器可验证检查器认证黎曼证明;蜜罐假密钥曝光三家大模型厂商泄露 — LeviTurk · 2026-11-22
- 土耳其数学家借 AI 证明黎曼假设?被嘲「有机土耳其人」 — CatAstro_Piyush · 2026-11-22
- Burkov 推出《百页语言模型书》:PyTorch 手把手从零构建 LLM — burkov · 2026-11-22
- 生成式 AI 进心脏病学:Dagstuhl 跨学科研讨会落幕 — StephanMandt · 2026-11-22
- SubRoformer 用 DSP 子带滤波器刷新音乐源分离 SOTA — affige_yang · 2026-11-22