Fleuret:teacher forcing 让模型难学内部状态动态,只得 token 推理
francoisfleuret · x · 2026-10-24
François Fleuret 在两连发中分析 transformer 架构的核心权衡:
- 上半句:teacher forcing 把中等大小状态的时间迭代变成巨大状态的深度迭代,GPU 并行效率极高——这是 transformer 的精妙之处。
- 代价:这几乎没有给模型留出学习真正「内部状态动力学」的空间。模型只能模糊地给 token 装饰一些属性,别无选择只能跟随 teacher。
由此他得出结论:现在的 token-space reasoning(思维链式推理)本质上是「mega-clunky」(极其笨重)的——是架构约束下的妥协产物,而非理想设计。
所属事件:Fleuret 解读 teacher forcing：时间迭代换深度迭代(2 条相关)→
「研究」频道最新
- Mila 论文：让多模态模型画「思考图」提升跨视角空间推理 — aagrawalAA · 2026-10-24
- OSDI 论文再翻红:轻量级形式化验证能否守住 Vibe Coding 时代 — tianyin_xu · 2026-10-24
- Princeton等推出WorldOracle基准:动作驱动世界模型常幻构成功画面 — jiqizhixin · 2026-10-24
- 手机视频1小时建物理孪生：Berkeley与NVIDIA开源RoboSimStudio — lukas_m_ziegler · 2026-10-24
- 社会科学方法论观点:安慰剂观测量法暗示 IQ 测量可能有问题 — RexDouglass · 2026-10-24
- 「LLM 作为人类代理人」研究登 Nature 子刊十月刊封面 — iyadrahwan · 2026-10-24