Nanogpt 嵌入表优化再获验证：ngrammer 论文早有类似结果
_arohan_ · x · 2026-09-29
AI 研究者 Arohan 指出，Nanogpt speedrun 中 embedding table 优化取得了很酷的结果，但提醒其与 ngrammer 论文的做法高度相似——该论文同样利用了 AdaGrad。他认为这基本是一个「免费收益」的优化，不过也补充道，在当下 memory 的成本已经不低了。
所属事件:NanoGPT 嵌入表优化与 ngrammer 论文结论互证(2 条相关)→
「研究」频道最新
- 眼睛约 100Hz 的眼球微震颤,或为视觉皮层实现超分辨率 — docmilanfar · 2026-09-29
- AI 从零设计病毒:斯坦福等合成 302 个噬菌体基因组,16 个有效 — CallRevolutionary894 · 2026-09-29
- Reddit 讨论：Softmax 输出仅 N-1 自由度，能否少一层参数？ — Kinexity · 2026-09-29
- EAPO:熵引导 credit assignment,让 LLM 推理强化学习更会探索 — coallaoh · 2026-09-29
- 让扩散模型故意塌缩:从预训练权重中提取人群图谱 — kwangmoo_yi · 2026-09-29
- Duplex-MPE 基准测 AI 何时该开口:MiniCPM-o 4.5 三项领先 — PKU · 2026-09-29