训练小型模型学模 113 加法,Grokking 后自发用三角恒等式
tetsuoai · x · 2026-09-26
作者训练了一个小型 transformer 做 mod 113 的加法,每 20 步保存一次 embedding,观察模型从记忆转向泛化的 Grokking 过程。
可视化显示,模型 Grokking 后把数字排到了圆环上,并用三角学里的角度加法公式来实现模加法——与此前关于 Grokking 涌现傅里叶结构的研究结论一致,直观展示了模型如何自发学出数学算法。
「研究」频道最新
- AI 智能体日夜运转一个月,复现法国气象局 AROME 天气模型 — IgorCarron · 2026-11-11
- NYU 新方法:看人做 5 分钟家务,机器人就能学会擦桌子 — CyberRobooo · 2026-11-11
- 新预印本：以空间单细胞分辨率绘制早期器官发生的人类胚胎图式 — anshulkundaje · 2026-11-11
- OpticalRAG：文档渲染成图压缩至 16 个 token，三项基准压缩感知精度最佳 — kalyan_kpl · 2026-11-11
- 百度发布 ERNIE Evolve 自动研究系统,NanoGPT Speedrun 超公开最好成绩 — xiaohu · 2026-11-11
- Diffusion Week 2026 十讲全部公开:覆盖视频生成与世界模型 — LucaAmb · 2026-11-11