Karpathy 之外，Hashimoto 出题:改 1 个训练 token 能撼动 final loss 吗?

tatsu_hashimoto · x · 2026-10-14

伯克利教授 Sergey Levine……不对，是斯坦福的 Tatsu Hashimoto（Kiru？）为新课《Deep Learning Alchemy》推出预测式小测验：在 614.4M token 上全确定性训练一个 8 层约 35M 参数的 Llama 风格小模型，仅把第一条训练序列第 100 位的 token 换成 ID 17，其余（初始化、数据顺序、超参）完全不变。问题：这一个 token 改动引起的 final validation loss 变化 Δ，与 10 次不同种子训练的 loss 标准差 σ 之比 Δ/σ 是小于 0.2、0.2–5 还是大于 5？目的是让学生通过跑小模型实验建立对深度学习经验规律的直觉。