Langford 详解全带宽 Transformer 并回应 OpenAI Astra 传言
机器学习老将、Vowpal Wabbit 与 MLic 相关人物 John Langford 于 9 月 4 日连发多条帖子,一方面介绍其团队 Full Bandwidth Transformer(FBT)的研发进展与技术思路,另一方面回应了「OpenAI 新项目 Astra 采用 FBT」的传言。值得关注的两个核心信息是:FBT 在实现中意外地不需要 nextlat,以及 OpenAI 方面曾有人来询问这一想法的来源,令 Langford 感到蹊跷。
已确认
- Langford 表示,开发 FBT 时有两个意外发现:不需要 nextlat,而且训练进展相当顺利。
- 关于放弃 nextlat 的原因:nextlat 论文的证明隐含收敛到一列不动点,而他读完 para-RNN 论文后,如何高效并行遍历这组不动点已经清晰,这构成了 FBT 的技术路径。
- 他引用 Mozer 等人的 arXiv 论文《Recirculation》作为佐证,其中报告了困惑度降低 23% 的结果。
- Langford 指出存在一个平行发展方向:FBT 本质上是在整个网络深度上进行循环训练(全栈深度循环)。
尚未确认
- 「OpenAI 的 Astra 项目使用 Full Bandwidth Transformer」目前仅为传言。Langford 明确表示自己没有内部消息,无法证实;他补充说,如果传言属实,那也属于平行的独立研发。
- 唯一的可疑信号是 OpenAI 方面有人来询问该想法的来源,Langford 对此感到奇怪,但这并不构成 Astra 采用 FBT 的证据。
为什么重要
- FBT 若能在不依赖 nextlat 的情况下顺利训练,并借助 para-RNN 的思路实现不动点的高效并行遍历,可能为 Transformer 架构的循环化训练提供一条新路径,Recirculation 论文中 23% 的困惑度降幅是初步的正面信号。
- OpenAI 主动询问想法来源一事,使传言虽未被证实但具备一定可信度,引发了社区对大厂与独立研究者之间研究路径交汇的关注。
2026-09-04 ~ 2026-09-04 · 5 条相关
一手来源
- 传 OpenAI 新项目 Astra 采用 Full Bandwidth Transformer,作者称系平行独立研发 — JohnCLangford ·
- Langford 解释 FBT 技术原理:nextlat 收敛性与 para-RNN 并行训练 — JohnCLangford ·
- ML 老将 Langford 详解 FBT:无需 nextlat,Recirculation 论文降困惑度 23% — JohnCLangford ·
- Langford 首曝:OpenAI 有人追问 FBT 想法来源,Astra 传言引关注 — JohnCLangford · 2026-09-04
- 【源头】传 OpenAI 新项目 Astra 采用 Full Bandwidth Transformer,作者称系平行独立研发 — JohnCLangford · 2026-09-04
- 【源头】Langford 解释 FBT 技术原理:nextlat 收敛性与 para-RNN 并行训练 — JohnCLangford · 2026-09-04
- Langford 谈全带宽 Transformer:无需 nextlat,全栈深度循环训练 — JohnCLangford · 2026-09-04
- 【源头】ML 老将 Langford 详解 FBT:无需 nextlat,Recirculation 论文降困惑度 23% — JohnCLangford · 2026-09-04