DeepMind 论文:语言建模即压缩,Chinchilla 跨模态压缩碾压专用算法

anpaure · x · 2026-11-17

anpaure 在讨论中补上理论依据——DeepMind 论文《Language Modeling Is Compression》:预测模型与无损压缩器可互相转换,LLM 因此天然是强大的通用压缩器。

论文关键数据:Chinchilla 70B 仅用文本训练,却能将 ImageNet 图像块压缩到原始大小的 43.4%(超过 PNG 的 58.5%),将 LibriSpeech 音频压到 16.4%(超过 FLAC 的 30.3%);压缩视角还为 scaling law、tokenization 与 in-context learning 提供新洞见,且任意压缩器(如 gzip)都能借此构造条件生成模型。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →