797GB n-gram 表存 CPU 内存，预训练多榨 57% 算力

Ian Magnusson 分享了一项名为 COUNT 的实验：将经验 n-gram 计数表预计算后存入只读 CPU 内存，在训练语言模型时加以利用。在放大到 10 亿参数规模时，该方法能让模型效果匹配多花 57% 算力的训练，显著提升算力利用率。类似的技巧此前刚被用于打破 nanoGPT 的训练纪录，引发社区关注。

2026-10-15 ~ 2026-10-16 · 2 条相关

• 797GB n-gram 放进 CPU 内存，小模型硬扛多 57% 算力 — PangWeiKoh · 2026-10-15
• 797GB n-gram 表存进 CPU 内存,1B 规模预训练多榨 57% 算力 — anshulkundaje · 2026-10-16