Transformer 状态跟踪之辩：NVIDIA 研究员援引 OLMo Hybrid 论文反驳
ahatamiz1 · x · 2026-11-04
NVIDIA 研究员 Ahmad Hatamizadeh 在 X 上质疑 Allen AI 相关研究的价值，指出 Transformer 无法做状态跟踪（state tracking）是众所周知的事实，且合成状态跟踪任务的表现与语言建模性能无关——Allen AI 自家的 OLMo Hybrid 论文已证明了这一点。被回复的 J. Owen Petty 则辩称该研究是在提供更完整的水油混合（oil-water mixture，代指架构混合）理论、给出关于不同模型在混合谱系中位置的新证明，并对理论做实证验证。
所属事件:Ai2 发布 StateBench：前沿模型长文状态追踪跌破 13%(18 条相关)→
「模型」频道最新
- 「外科手术式编辑」难题：LLM 改法务条款总留下多余墨迹 — graceisford · 2026-11-04
- 让前沿模型开帆船互飙：Argon 夺冠，Opus 没跑完，Qwen 搁浅 — shekitup · 2026-11-04
- Domingos 曝 Gemini 承认若推理设计得当 CoT 和 RL 就是绕路 — pmddomingos · 2026-11-04
- Legora CTO 感叹:前沿模型能理解并直接修改权重 — garrytan · 2026-11-04
- 新架构 LoL 让模型在运行时重排自己的前向传播,像程序员一样组合基本组件 — micahgoldblum · 2026-11-04
- Grok Bot 周额度重置不到 9 小时即被用掉 30%,用户喊话扩容 — nima_owji · 2026-11-04