Nanogpt 嵌入表优化再获验证:ngrammer 论文早有类似结果
_arohan_ · x · 2026-09-29
AI 研究者 Arohan 指出,Nanogpt speedrun 中 embedding table 优化取得了很酷的结果,但提醒其与 ngrammer 论文的做法高度相似——该论文同样利用了 AdaGrad。他认为这基本是一个「免费收益」的优化,不过也补充道,在当下 memory 的成本已经不低了。
所属事件:NanoGPT 嵌入表优化与 ngrammer 论文结论互证(2 条相关)→
「研究」频道最新
- Google 开源 PaperOrchestra:多 Agent 自动写 AI 研究论文 — google-research · 2026-11-16
- Fable 5.2 解谜好到可疑:仍答对已被更新作废的旧版迷宫答案 — patience_cave · 2026-11-16
- ICLR 审稿人未被打动仍提分:因相信论文对社区有价值 — MarkSchmidtUBC · 2026-11-16
- 手改0.2%权重加CPU训练100分钟,英语TTS模型变身18MB梵语语音 — kastnerkyle · 2026-11-16
- 为什么 AI 做化学必须懂手性:对映异构体在生物体内并不等价 — madeofAjala · 2026-11-16
- RSS 2027 投稿开启:两阶段评审 FAQ 澄清负面结果标准 — GeorgiaChal · 2026-11-16