消融讨论：query 头数前两阶段几乎无影响，稀疏路由需训练

stochasticchasm · x · 2026-08-28

这是一条关于注意力机制消融实验（ablation）的自回复技术讨论。作者分析了两项结果：其一是两种本不常被对比的技术——按层共享 indexer 与按序列共享 indexer——或许可以组合使用，他希望看到组合消融。其二是 query head 数量：在第一阶段几乎看不出影响（从 1 头到 4 头差异很小，却要多花不少 FLOPs），但到第二阶段后影响明显变大。作者推测这是网络需要先经过训练，才能学会把检索路由到稀疏块（sparse blocks）中去，这解释了为何效果在后期才显现。