Langford 讨论 Transformer 深层信息丢弃与梯度下降的架构含义

JohnCLangford · x · 2026-09-06

ML 理论学者 John Langford 在推串中分析梯度下降对 Transformer 架构的隐含约束:传统 Transformer 的前几层用于 token 语义解析,一旦得到下一 token 分布,后几层可能会丢弃已计算的信息。

讨论串中 @hiveecho 补充观点:若把当前时间步的计算状态带入下一步,可能污染后续状态、造成循环状态漂移;而丢弃瞬态计算状态反而给了模型自我修正的空间,减少对早前内部计算的路径依赖。Langford 进一步对比 Full Bandwidth Transformer:它可以前层做深计算、末层保留相关信息,深度利用更好、梯度也可自由抑制无关的先前 token 信息。