UW 提出 COUNT:用 n-gram 计数表扩展主存,1B 模型等效多 57% 算力
UW · hf · 2026-10-15
华盛顿大学提出 COUNT(Counting Offline Unlocks N-gram Transformers),让语言模型通过 n-gram 嵌入单独扩展记忆,但不用训练新参数:直接在主机内存中存储预计算的 n-gram 计数。
- 原理:用语料频率加权,混合 LM 自身对当前 n-gram 历史最常接续 token 的 unembedding,生成 n-gram 嵌入——n-gram 表只读,避免了从头训练嵌入所需的昂贵 GPU 显存读写。
- 固定算力预算下,给 1B 参数 LM 预训练加 COUNT 输入嵌入,验证损失改善相当于多 57% 计算量的模型。
- GPU 显存紧张时,让骨干参数占满显存 + COUNT 放主存,优于在显存里分摊可学习 n-gram 嵌入。
- 附带能力:推理时可换入不同领域语料的 n-gram 计数表,无需任何训练即适配新任务。
「Infra」频道最新
- Google TPUv7 首次参测:每美元性能达 GB300 NVL72 的 1.67 倍 — scaling01 · 2026-10-15
- 微软 MAI-Image-2.6 上架 Vercel AI Gateway，一个 Key 调两档模型 — lmoroney · 2026-10-15
- Inworld 开放推理服务:月处理数十万亿 token,按请求设定优先级 — thetripathi58 · 2026-10-15
- 16GB 内存何时能本地跑平 Opus?聊聊端侧 LLM 的现实距离 — bit_freak · 2026-10-15
- vLLM P/D 原型实测:12×GB300 上前缀命中率 91.24% — vllm_project · 2026-10-15
- vLLM 实现Step 5 Preview日0支持：稀疏prefill延迟降2.2% — vllm_project · 2026-10-15