ML 老将 Langford 详解 FBT:无需 nextlat,Recirculation 论文降困惑度 23%

JohnCLangford · x · 2026-09-04

John Langford 介绍其团队开发 Full Bandwidth Transformer(FBT)时的两个意外发现:不需要 nextlat,而且训练进展顺利。他引用 arXiv 论文《Recirculation》(Mozer 等):这是一种推理期架构增强方法,通过特定形式的递归让前馈 transformer 作为动力系统追踪信念状态,几乎不增加生成延迟(仅需 prefill 串行处理),与思维链和深度循环方法不同。免训练的 adaptive recirculation 变体冻结原模型权重、仅轻调超参数,在 Gemma3 系列上取得困惑度降 23%、GSM8k 准确率升 21% 的成绩。