797GB n-gram 表存进 CPU 内存,1B 规模预训练多榨 57% 算力
anshulkundaje · x · 2026-10-16
COUNT 项目将经验 n-gram 计数表预计算后存入只读 CPU 内存,在其上训练语言模型:在 1B 规模下匹配了多 57% 算力的效果,同类技巧刚被用于打破 nanoGPT speedrun 纪录。关键点:n-gram 表易于预计算和存储,显著加速预训练;且可在推理时热替换 n-gram 表,实现免训练的领域适配。
所属事件:797GB n-gram 表存 CPU 内存，预训练多榨 57% 算力(2 条相关)→
「Infra」频道最新
- 台积电 Q4 指引营收超预期，毛利率 65-67% 略低于买方预期 — tengyanAI · 2026-10-16
- 本地 AI 不是隐私功能而是路由问题：任务该跑在笔记本、内网还是云端 — bigdata · 2026-10-16
- 把 Agent 工作从 GPU 挪回 CPU，让动作更持久可预测 — cramforce · 2026-10-16
- 首个 TPUv7 Agent 基准成绩:vLLM 服务下每美元性能超 GB300 NVL72 达 1.42 倍 — vllm_project · 2026-10-16
- Phison CEO 称 CXMT 内存恐慌是“市场鬼故事”，明年的问题是缺料不缺单 — BenBajarin · 2026-10-16
- Ben Bajarin：算力未来是可互换的，超大规模厂商正为工作负载自由布局 — BenBajarin · 2026-10-16