797GB n-gram 放进 CPU 内存，小模型硬扛多 57% 算力
PangWeiKoh · x · 2026-10-15
Ian Magnusson 分享了一项实验：把 n-gram 计数存放在只读 CPU 内存中辅助语言模型训练。在放大到 10 亿参数规模时，该方法能让模型效果匹配多花 57% 算力训练的基线。此前已有人用类似技巧刷新 nanoGPT speedrun 纪录，这次工作验证了其在更大规模上的有效性。
「模型」频道最新
- Datadog 发布 Scout 1.0：基于 GLM-5.3 Flash 后训练的低成本 SRE Agent — antoine_chaffin · 2026-10-16
- OpenAI 简化 API 用量层级：Build/Launch/Grow 三档，花钱自动升级 — prd_008 · 2026-10-16
- NVIDIA 开源 Nemotron 3.5 Super VL：120B 总参 12B 激活，原生多模态 — simonguozirui · 2026-10-16
- 投资人预测:一年内模型全面强 2-3 倍、成本降 10 倍,token 用量涨 10-20 倍 — DeryaTR_ · 2026-10-16
- Google 上线全新 Gemma 文档站，页面首次亮出 Gemma 4 开放模型 — rseroter · 2026-10-16
- Respan 发布 Span-02:可随时打断的「anytime」推理模型,开源权重 — techNmak · 2026-10-16