Fleuret 解读 teacher forcing：时间迭代换深度迭代

François Fleuret 两连发分析 transformer 架构的核心权衡：借助 teacher forcing，模型可将中等大小状态在时间维度上的迭代，转换为巨大状态在深度维度上的迭代，更契合 GPU 的计算特性；但代价是模型难以学习内部状态的动态，只能依赖逐 token 的推理方式。

2026-10-24 ~ 2026-10-24 · 2 条相关

• Fleuret:teacher forcing 把时间迭代变成深度迭代让 GPU 高兴 — francoisfleuret · 2026-10-24
• Fleuret:teacher forcing 让模型难学内部状态动态,只得 token 推理 — francoisfleuret · 2026-10-24