NanoGPT embedding table 再获免费提升，与 ngrammer 论文结论互相印证
_arohan_ · x · 2026-09-29
arohan 转发了在 NanoGPT 上对 embedding table 的实验结果，称效果非常亮眼，并指出此前的 ngrammer 论文曾报告过类似结果，且两者都使用了 AdaGrad 优化器。作者认为这是一个「免费的胜利」——不需要额外开销就能拿到收益。
这一对照说明：改进 embedding/输入表示的思路在学术界与开源复现社区中正在收敛，AdaGrad 这类老优化器在特定设置下仍有独特价值。
所属事件:NanoGPT 嵌入表优化与 ngrammer 论文结论互证(2 条相关)→
「模型」频道最新
- 研究者猜测 Opus「克劳德语」或是模型复杂度超出人类理解的表现 — JeremyNguyenPhD · 2026-09-29
- 设计对决番外:Meta Muse 差点跑通,第 3 页彻底崩坏 — NathanWilbanks_ · 2026-09-29
- 观察:Qwen 后期层神经元像开关,Olmo 则不然 — Sauers_ · 2026-09-29
- 实测一天后:Sonnet 5.5 并非「便宜一半的 Opus」 — alexcovo_eth · 2026-09-29
- Qwen3.8-27B 后训练版 Holo4-27B：同任务 token 消耗省 79% — solyarisoftware · 2026-09-29
- ProgramBench 榜单:最抢手模型完整重建程序解决率仅 4.5% — jyangballin · 2026-09-29