LeCun 等人论文：LLM 激进压缩牺牲语义丰富度，可解释性差的根源在此
ziv_ravid · x · 2026-11-04
Chen Shani、Ravid Shwartz-Ziv 与 Dan Jurafsky、Yann LeCun 合作的 ICLR'26 论文《From Tokens to Thoughts: How LLMs and Humans Trade Compression for Meaning》被再次转发，作者称「LLM 越来越难理解是因为过度压缩」的说法早于现象蔓延之前就在该论文中提出。
论文用信息瓶颈框架比较人类概念结构与 40+ 个 LLM 的嵌入表示，关键发现：
- LLM 与人类在粗粒度类别边界上大体一致，但细粒度语义区分不及人类
- 人类保留「低效」表示以保存上下文细微差别；LLM 激进压缩，换取信息论上更优的压缩率，代价是语义丰富度
- 意外发现：encoder 模型在人类对齐上优于大得多的 decoder 模型，提示理解与生成依赖不同的表征机制
- 训练动力学呈两阶段：先快速形成概念，随后架构重组——语义处理从深层迁移到中层网络，模型发现越来越稀疏的高效编码
这为「LLM 可解释性变差」提供了理论解释：LLM 优化的是压缩，人类优化的是自适应效用。
「模型」频道最新
- 实测七个 LLM 路由器无一跑赢固定调用单个中档模型 — dl_weekly · 2026-11-04
- Gemini 被问自家争议，自称 OpenAI 助手撇清关系 — conitzer · 2026-11-04
- MOSS AMA 要点：图像模型、本地语音、音视频研究与开源文化 — Physical_Hat4022 · 2026-11-04
- 128GB 统一内存笔记本实测：gemma4:e4b 本地跑出 122.8 TPS — ollama · 2026-11-04
- Artificial Analysis 新评测：Gemini 3.8 Flash 套话分与谄媚分双垫底 — Immediate_Simple_217 · 2026-11-04
- UCSD 论文：长文本检索失败元凶是干扰项而非长度 — dair_ai · 2026-11-04