COUNT 论文：n-gram 计数放主存，1B 模型等效多 57% 算力
pmttyji · reddit · 2026-10-20
论文提出 COUNT(Counting Offline Unlocks N-gram Transformers),把预计算的 n-gram 词频计数表存放在廉价的主机内存上,用语料频率加权 LM 自身的 unembedding 来构建 n-gram 嵌入,无需新增可学习参数。
关键结果
- 固定算力预算下,给 1B 参数 LLM 加 COUNT 作为额外输入嵌入,验证损失改善相当于多花 57% 训练算力。
- GPU 显存受限时,让主干参数填满 GPU、n-gram 计数放主存,比用可学习 n-gram 嵌入分摊显存效果更好。
- 推理时可热替换不同领域的 n-gram 计数表,零训练适配新任务。
资源:arXiv、GitHub、HuggingFace 均已开放。
「Infra」频道最新
- 256GB 内存版 Mac Studio 交付要等 15-17 周,一机难求 — LinusEkenstam · 2026-10-20
- Google 开源 TorchTPU:PyTorch 工作负载几乎不改代码上 TPU — rseroter · 2026-10-20
- Simular 神经符号混合架构让 computer-use agent 成本降 217 倍 — xwang_lk · 2026-10-20
- 前谷歌员工访谈：真正的瓶颈是数据中心和电力，而非 GPU 产能 — RihardJarc · 2026-10-20
- a16z 携手 fal、ElevenLabs 等办 AI Infra Day 深聊算力基建 — venturetwins · 2026-10-20
- 视频生成研究跑通 AMD MI350X,多项 PR 已并入 PyTorch nightly — vincesitzmann · 2026-10-20