DeepMind 论文:语言建模即压缩,Chinchilla 跨模态压缩碾压专用算法
anpaure · x · 2026-11-17
anpaure 在讨论中补上理论依据——DeepMind 论文《Language Modeling Is Compression》:预测模型与无损压缩器可互相转换,LLM 因此天然是强大的通用压缩器。
论文关键数据:Chinchilla 70B 仅用文本训练,却能将 ImageNet 图像块压缩到原始大小的 43.4%(超过 PNG 的 58.5%),将 LibriSpeech 音频压到 16.4%(超过 FLAC 的 30.3%);压缩视角还为 scaling law、tokenization 与 in-context learning 提供新洞见,且任意压缩器(如 gzip)都能借此构造条件生成模型。
「研究」频道最新
- NervePool:用神经复形为单纯复形做池化的新层发布 — Pseudomanifold · 2026-11-17
- E11 Bio 发布五个职位,扩编大脑连接组学技术团队 — anderssandberg · 2026-11-17
- 语义缓存的近失反转难题:该放弃向量检索做 LLM 缓存吗 — Artyrred · 2026-11-17
- NVIDIA cuPotential 让分子动力学提速 2-4 倍,无需换硬件 — gdefabritiis · 2026-11-17
- Vera Rubin 观测台将开放数据:prompt 库两周内上线,明年初实时目录 — mjuric · 2026-11-17
- 首台用人类脑细胞做成的「生物计算机」亮相 — joeurkel · 2026-11-17