NanoGPT embedding table 再获免费提升,与 ngrammer 论文结论互相印证
_arohan_ · x · 2026-09-29
arohan 转发了在 NanoGPT 上对 embedding table 的实验结果,称效果非常亮眼,并指出此前的 ngrammer 论文曾报告过类似结果,且两者都使用了 AdaGrad 优化器。作者认为这是一个「免费的胜利」——不需要额外开销就能拿到收益。
这一对照说明:改进 embedding/输入表示的思路在学术界与开源复现社区中正在收敛,AdaGrad 这类老优化器在特定设置下仍有独特价值。
所属事件:NanoGPT 嵌入表优化与 ngrammer 论文结论互证(2 条相关)→
「模型」频道最新
- Google AI Mode隐藏所用Gemini型号,Gemini 4 Carbon下放Pro用户 — gaganghotra_ · 2026-11-16
- 开源 Karpo-Decision-31B 单次前向出概率,登顶 Decision Index 超越 Gemini — CodeByPoonam · 2026-11-16
- Nathan Lambert 点破 Ethan Mollick 榜单对比漏掉了 Kimi — natolambert · 2026-11-16
- Devin 构建中现 Anthropic 隐身模型,METR 图显示前沿速度提至 1.4 倍 — daniel_mac8 · 2026-11-16
- 评测方 Trajectory 给 40 个 Agent 写「永不放弃」提示词,此前未告知 Epoch — peterwildeford · 2026-11-16
- 自托管实测:Unsloth Q8 量化版大幅优于默认 Q3,连夜跑完 331 份账单分析 — No_Cartographer3953 · 2026-11-16