NextLat 与全带宽 transformer 被指存在结构性互促关系

JohnCLangford · x · 2026-10-06

ML 反驳学习(MLB)领域知名研究者 John Langford 表示,nextlat 与全带宽 transformer(FBT)的关系比「一个催生另一个」更强:把前者叠加到后者之上时,二者在结构上相互成就。

引用者 jaydenteoh 回溯:今年 7 月讨论 FBT 时才想起,去年 11 月与 Langford 写 NextLat 时就聊过这个想法。他对 NextLat 一直不太满意——它能让 transformer 继承 RNN 的归纳偏置、也能训出无循环结构的 RNN,但并没有给 teacher transformer 提供突破固定深度计算所需的电路,无法真正跨时间做 recurrence;他们当时想要的,是一种不依赖隐式深度的方式为 transformer 注入循环能力。