Antirez 与网友激辩:LLM 隐状态不是编码器,只装下一个 token 所需
zafstojano · x · 2026-11-04
Redis 作者 antirez 参与关于 JEPA vs LLM、platonic representation hypothesis 的讨论时提出:LLM 的隐状态并不承载模型的完整表征,只携带预测下一个 token 所需的信息,「它不是编码器」。网友 zafstojano 反驳称 token k+100 的交叉熵反向传播会流经 token k 的嵌入,梯度信号理应让隐状态编码更丰富的信息;antirez 澄清他指的是产出下一 token 的最后位置隐状态——过去位置的隐状态是因果的、从未为相似性目标训练过,做成对相似度检索不如真正的编码器。