Hashimoto 更难一题:把残差改成 0.5x_i+0.5x_{i-1},重调 LR 后还掉点吗?

tatsu_hashimoto · x · 2026-10-14

Hashimoto 课堂第二道预测题：对 8 层 prenorm Transformer，从第二个 block 起把残差更新 x{i+1}=xi+fi(xi) 改为 x{i+1}=0.5xi+0.5x{i-1}+fi(xi)，即残差路径混合前两步状态。两模型同样在 614.4M token 上用相同配方训练，且为公平起见对每个架构在 6 个峰值学习率（1e-4 到 3e-2）上取最优 final validation loss。问题：Δ = Lmixed − Lstandard 是正是负、差多少？配图给出精确的 diff 实现，读者可自行复现并预测答案。