可视化 modular addition transformer:2k 步与 20k 步训练差异一目了然
Sauers_ · x · 2026-09-24
作者展示了一个做模加法(modular addition)的 transformer 在不同训练阶段的行为可视化:把 113 个可能输出 token 按大小顺时针排成一个圆环,每圈代表一个被加的数,颜色表示对应 token 的 logprob。对比显示,训练 20k 步(左)后模型输出分布明显形成有序结构,而 2k 步(右)时分布仍然杂乱,直观呈现了模型从混沌到学会模加法结构的过程。
所属事件:模加法 Transformer 训练过程可视化走红(2 条相关)→
「研究」频道最新
- WeightWatcher 追踪发现:K 矩阵功率谱指数 α 可预测 LLM 记忆化 — rickasaurus · 2026-09-24
- 学界联名发布"预防-遏制-证明":形式方法推广的自愿框架 — Miles_Brundage · 2026-09-24
- Skild AI 让 Unitree G1 虚拟自博 140 年,现实里与人踢足球 — ZGojcic · 2026-09-24
- 腾讯混元扩展 critical-batch-size 理论:GRPO 训练提速 29%,PPO 生成吞吐达 2.29× — TencentHunyuan · 2026-09-24
- 研究者直言 activation steering 太粗糙,该学模型内部几何语言 — cephaloform · 2026-09-24
- Neel Nanda 团队发布 WorkspaceBench：检验可解释性工具的专用评测 — burny_tech · 2026-09-24