Antirez 与 mlpowered 争论:LLM 隐状态不只是预测下一个 token

rickasaurus · x · 2026-11-06

antirez 提醒读者,在 JEPA 与 LLM 之争及「柏拉图表示假说」语境下要注意:LLM 的隐状态只携带预测下一个 token 所需的信息,并不是一个编码器,也不代表模型的完整内部表示。mlpowered 反驳称这是常见误解——LLM 的隐状态实际被用于预测所有未来 token,研究中能观察到对应「计划」或更广泛情境的内部表示,并引用 Anthropic 的《On the Biology of a Large Language Model》电路追踪研究佐证。配图展示了 J-lens 方法能从 Claude 内部读出多跳推理的中间步骤、心算中间值、bug 预判、蛋白质识别乃至对 prompt injection 的「意识」。