Langford 谈全带宽 Transformer:无需 nextlat,全栈深度循环训练
JohnCLangford · x · 2026-09-04
MLic 创始人 John Langford 透露其 Full Bandwidth Transformer(FBT)开发中的两个意外发现:不需要 nextlat,而且实现得相当顺利。他还指出存在一个平行发展方向:FBT 本质上是在整个 transformer 堆栈的全深度上进行 recirculation(循环)训练。帖末他对 OpenAI 的新模型表示祝贺,认为其令人印象深刻。
所属事件:Langford 详解全带宽 Transformer 并回应 OpenAI Astra 传言(5 条相关)→
「研究」频道最新
- 前 OpenAI 研究员:最好的研究是问题越多而非越少 — yacinelearning · 2026-09-04
- IBM 发布 DRACO:动态评分细粒度信用分配,训练长程智能体免验证器 — ibm-research · 2026-09-04
- 「最后的翻译基准」发布:多模态样本+人工验证规则击穿主流翻译模型 — Vilém Zouhar · 2026-09-04
- 纠错码领域重大突破:Reed-Solomon 码列表译码逼近容量极限 — AlexKontorovich · 2026-09-04
- AI 自动研究员推动破解 30 年编码理论难题,榜单逼近理论极限 — BenBlaiszik · 2026-09-04
- 用 60 张童年照片微调 SDXL,模拟「记忆回忆」的实验 — uisato · 2026-09-04