antirez 澄清常见误解：LLM 隐藏态并非完整内部表征
antirez · x · 2026-11-04
antirez（Redis 作者）就「柏拉图表征假说」语境下的 JEPA vs LLM 讨论提出一个关键澄清：LLM 的隐藏状态并不承载模型内部的完整表征，它只携带预测下一个 token 所需的信息——因此 LLM 不是编码器，不能拿它的隐藏态与 JEPA 的表征空间直接类比。
这一提醒对参与两类架构表征对比的讨论者很重要：混淆「为下一 token 服务的中间状态」与「面向世界状态学习的表征」会导致错误的比较结论。
所属事件:antirez 澄清：LLM 隐状态并非完整内部表征(3 条相关)→
「模型」频道最新
- 网友吐槽：都说进入 RSI 时代了，前沿模型却要等几周 — iruletheworldmo · 2026-11-04
- DeepSeek v4.1 flash 供应商不足，用户抱怨 Baseten 吞请求 — shensi · 2026-11-04
- 改 0.13% 权重零训练修复 OCR 模型空白页幻觉,榜单从 14 升到 8 — vanstriendaniel · 2026-11-04
- antirez 批评 Astra 论文:游戏任务可从输出偏差直接猜出,且认不出 Cannon — antirez · 2026-11-04
- antirez 复现 MIT 论文：LLM 权重里真有可看见的径向模式 — antirez · 2026-11-04
- 0.6B 后训练模型在 MATH 翻车：权重小缺陷致采样极敏感 — lateinteraction · 2026-11-04