ML 工程师驳 antirez:最后 token 的残差态并非只为下一 token 优化
mlpowered · x · 2026-11-06
antirez 此前主张「最后一个 token 位置的残差态只为预测下一个 token 而优化」,ML 工程师 mlpowered 指出这一说法不成立:训练时每个 token 位置的下一 token 预测误差梯度会经由注意力回传到所有此前的残差态。针对 antirez 的澄清(认为该状态不携带 embedding 模型式的信息、需 pooling),mlpowered 进一步回应:正因梯度回传,这些状态可被更新以服务于多 token 之后的预测,并有相关论文佐证。这是关于 LLM 表征能否直接用作 embedding 的技术争论。
所属事件:antirez 论战 ML 工程师：LLM 隐状态能否当编码器用(9 条相关)→
「模型」频道最新
- mitsuhiko 澄清:泄漏邮箱的不是 Claude Code,是模型自己的行为 — mitsuhiko · 2026-11-06
- Perplexity Agent API 全线降价:新增 ultra 档,主打每美元智能最大化 — denisyarats · 2026-11-06
- GPT Image 2.6 登顶 Image Arena，速度最高提升 2.6 倍 — cantrell · 2026-11-06
- AA 评测：FLUX 3 全系 19 项文生图类别全面超越 FLUX.2，Klein 逼近开源第一 — ArtificialAnlys · 2026-11-06
- Claude 额度不够用？Reddit 用户权衡 Kimi 订阅替代方案 — mohitaksh · 2026-11-06
- Anthropic 首席架构师开号:暗示即将公布内部加速报告,或触发 RSP 2x 阈值 — inductionheads · 2026-11-06