多语 LLM 对句子与译文编码近乎相同,新理论解释"柏拉图表征"成因
Hidenori8Tanaka · x · 2026-10-12
- 现象:多语言 LLM 对一个句子及其翻译的内部表征几乎相同,即所谓"柏拉图表征假设"——此前只被观察到,从未被解释。
- 已积累的事实:跨语言相似度在模型中间层最高(而非两端);相似性与语言特有的结构并存;语言越接近、模型越好、数据越多,相似度越高。
- 新解释与预测:作者团队(Marshall Wyart 等)提出理论统一解释上述全部事实,并给出新预测——若从每层中减去可由上一层线性预测的部分,跨语言相似度会上升。
- 验证:该预测在真实 LLM 中得到确认,配图为训练后的 Transformer 与理论网络(BP)在同模型/跨模型的 II 与 mKNN 指标上的拟合曲线。
「研究」频道最新
- 斯坦福 CS336 公开课被赞学 LLM 最佳实战教材 — stanfordnlp · 2026-10-12
- 美团 LongCat 团队 QuantMLA：128K 上下文 KV 缓存压缩 3.59 倍 — meituan-longcat · 2026-10-12
- MOTIVE 框架教会视觉语言模型多视角自校验并决定何时重想 — Ziquan Zhu · 2026-10-12
- 谷歌开源 EmbeddingGemma 2:统一嵌入空间,1 比特量化仅损 4.6% 检索质量 — solyarisoftware · 2026-10-12
- CS224n 第一课纵览 NLP 四个时代：规则、统计到规模化 — stanfordnlp · 2026-10-12
- Python 3.14t 无 GIL 实测:fastsimd 解析 JSON 达 65.7 GB/s — lemire · 2026-10-12