Physics of Language Models: Part 4.1, Architecture Design and the Magic of Canon Layers
Zeyuan Allen-Zhu
NeurIPS 2025 main conference
cs.CL
2025-12-19
在可控合成预训练任务上,给任意序列模型加核长 4 的 Canon 卷积层:推理深度提 2-4 倍,NoPE 追平 RoPE,GLA 逼近 Mamba2。
在学术规模上比较模型架构,基本是在噪声里挑信号。1.3B 参数、100B token 的预训练里,随机种子和数据洗牌就能造成 2-4% 的精度摆动;更尴尬的是,这个规模的模型连最简单的 2-hop 推理都过不了,「X 生于 1970 年,Y 与 X 同年出生,Y 生于哪年」只能瞎猜。全员踩在这个地板上,更高阶能力上的架构差异根本显不出来。放大到工业规模能看出差异,但那个成本做不起系统消融。
Allen-Zhu(Meta FAIR,Physics of Language Models 系列)的做法是造「无菌环境」:把智能拆成原子能力,每项配一个可控的合成预训练任务,在干净数据上比架构,类比物理学里的无摩擦斜面。
五个合成任务,各考一项能力:
每个任务配 3 档数据规模 × 4 档模型尺寸,固定种子、同数据同训练步数,把方差压到可比。
在这套框架里长出的发现是 Canon 层:对隐藏状态做核长 4 的因果一维卷积再加残差,h' = h + conv1d(ht, ht-1, ht-2, ht-3)。可插在 attention 前(A)、QKV 投影后(B)、MLP 前(C)、MLP 内(D)四处,任意序列模型几行代码就能加上。名字取自音乐卡农:同一旋律隔固定延时重叠出现。1.3B 模型上参数只多 0.0063%;权重固定成随机数也有效,可训练版更好。
为什么这么小的组件有这么大效果?解释落在学习动力学上:深层技能是先 1-hop 再 2-hop 逐级学出来的,浅层要靠高层梯度回头修正、提前备好「本级用不上但下一级必需」的特征(backward feature correction)。语言模型里这条修正要沿「层 × 时间」走对角线:普通残差只通竖向,attention 能横向传但学得慢、代价高。Canon 等于每层都开一条沿时间的局部残差通道。两个证据:只在第一个 block 加 Canon 只能拿回一小部分增益;部分设置里 k=1 的学习曲线加不加 Canon 完全重合,增益全部出现在 k≥2。
| 设置 | 指标 | 原架构 | +Canon-ABCD |
| Depo1(K=8),RoPE | k=8 准确率 | 0-1% | 96-100% |
| Depo2(K=16),RoPE | k=16 准确率 | ≈0% | 21-99% |
| Brevo,RoPE | 推理广度 | 基线 | +30% |
| Mano,RoPE | 可操纵表达式长度 | L=10 | 相当于基线做 L=13 |
| Capo,RoPE | 知识容量 | 基线 | +10-15% |
| Depo,GLA | 推理深度 | 1-hop | 4-hop |
合成任务上,约 0.5% 的可训练参数换 2-4 倍推理深度。NoPE(无位置编码)原本全线接近零,加 Canon 后在 Depo 上反超 RoPE+Canon,也明显压过 ALiBi、Hard-Alibi 这些修补方案;RoPE 只保留 1/4 维度反而最好,对长度外推是好消息。
线性模型一侧结论更尖锐:Mamba2 去掉自带 conv1d 就跌回 GLA 水平,而 GLA+Canon 能超过 Mamba2、做到 Mamba2/GDN 的大部分成绩,暗示不少现代改进主要是在复现卷积式混合。全员装上 Canon 公平对比:线性模型知识容量高约 40%,但 Transformer 推理深度是它的 2-4 倍;线性模型浅的根源不是状态装不下,是逐层累积的压缩与检索误差。
1.3B、100B token 的真实预训练复现了主要趋势:Canon 把 NoPE、GLA 分别抬到 RoPE、Mamba2/GDN 的水平;所有模型依旧过不了 2-hop 推理,即使上下文只有 100 token。
一半方法论,一半架构发现。合成测试场让架构科学在学术预算内变得可控、可复现;Canon 本身是即插即用的通用组件,顺带补上了 gated MLP 和 MoE 丢知识容量的口子。对做架构的人,「Mamba2/GDN 的优势大部分能用 GLA 加一个卷积复现」这个判断值得认真对待。也要说准:论文明确 Canon 买的是学习效率,不是表达能力,无限训练下原架构理论上同样能到。
作者自述的:固定训练预算下比的是技能习得速度,不代表能力上限;最深的结构任务 cfg3k 救不动;naive 实现下 Canon-ABCD 前向/反向/生成开销为 12.4%/14.1%/20.8%(Canon-AC 降到 5.8%/5.8%/7.0%)。真实学术规模预训练噪声仍大,多数对比在统计上不可靠,只剩少数趋势稳定;1-8B、1-2T token 的更大规模结果只有一句「与本文一致」,正文未展开。贡献声明写明想法、代码、实验、写作均由 Allen-Zhu 一人完成,独立复现目前主要靠社区。