NanoGPT 训练纪录刷进 9.65 秒,CPU 协同成关键妙招
charles_irl · x · 2026-10-03
charlesirl 转发并接续 DevenPzak 的 nanoGPT 极速训练纪录冲刺:此前 @hermanbrunborg 用「最长精确匹配模型」在训练期间并行占用 CPU,把纪录从 39.9 秒压到 21.5 秒;DevenPzak 在此基础上把 CPU 模型推广到更大比例的 token,进一步将纪录降到 9.65 秒,并已提交 PR。
这一成绩建立在多个开源 PR 的协作之上(hermanbrunborg、nthngdy、cyrusghane、Daniel Monroe 等)。作者也坦承:CPU 使用在 nanoGPT 规则里属于灰色地带,所有新纪录仍待社区评审确认。
「研究」频道最新
- 单卡 36 小时、100B tokens 从零预训练 400M 稀疏 MoE 模型 — Tall_Abrocoma_3533 · 2026-11-19
- 研究者质疑 METR/Anthropic「2 倍加速」RSI 论证统计上站不住 — jessi_cata · 2026-11-19
- 用线性探针识别基座模型补全文本时扮演的人格,尚无人尝试 — cephaloform · 2026-11-19
- ETH 机器人 Anymal 阿尔卑斯山完成 10 公里全自主徒步 — ChongZzZhang · 2026-11-19
- OpenVax 代码量 15 个月从 7.8 万行涨到 56.5 万行 — iskander · 2026-11-19
- François Fleuret:decoder Transformer 没有 trade-off 超参,足够优雅 — francoisfleuret · 2026-11-19