Pedro Domingos：称 LLM 训练为压缩是谬误

华盛顿大学教授 Pedro Domingos 在与 Christian Szegedy 的争论中指出，最小化交叉熵并不等同于最大化压缩，这是数学事实。他认为极大似然估计的本质是记忆数据，而 LLM 在很大程度上正是这样做的，将这种机制称为“压缩”是一种有害的误解。此番观点也与 Google DeepMind 相关争论相呼应。

2026-09-02 ~ 2026-09-02 · 2 条相关

• Pedro Domingos：最小化交叉熵并非最大化压缩 — pmddomingos · 2026-09-02
• Pedro Domingos：称 LLM 极大似然为压缩是谬误 — pmddomingos · 2026-09-02