模加法 Transformer 训练可视化:2 千步到 2 万步学到环状结构
Sauers_ · x · 2026-09-24
作者 @Sauers 展示了模加法(modular addition)Transformer 在 2k 与 20k 训练步后的可视化对比:按顺时针方向排列 113 个可能的输出 token,每个环代表一次加法的两个输入数,颜色表示 token 的 logprob。训练到 2 万步后,模型内部形成了清晰的环状结构,直观呈现了模型如何逐步「学会」模加法(即知名的 Grokking 现象的可视化)。作者还 lamented 图里有笔误改不了。
所属事件:模加法 Transformer 训练过程可视化走红(2 条相关)→
「研究」频道最新
- 腾讯混元扩展 critical-batch-size 理论:GRPO 训练提速 29%,PPO 生成吞吐达 2.29× — TencentHunyuan · 2026-09-24
- 研究者直言 activation steering 太粗糙,该学模型内部几何语言 — cephaloform · 2026-09-24
- Neel Nanda 团队发布 WorkspaceBench：检验可解释性工具的专用评测 — burny_tech · 2026-09-24
- SchrödingerRepo:动态改写仓库揭示 SWE-bench 记忆化问题 — SJTU · 2026-09-24
- 自回归视频生成的记忆机制:首篇系统性综述发布 — Harold Haodong Chen · 2026-09-24
- 机器人后训练被低估:用自博弈在仿真中训练策略再上真机 — ZGojcic · 2026-09-24