797GB n-gram 查表跑在 CPU 内存,1B 模型多榨 57% 算力
PangWeiKoh · x · 2026-10-30
研究者测试把 n-gram 计数放进只读 CPU 内存辅助语言模型训练:团队将 n-gram 数据扩展到 797GB,在 1B 规模模型上验证有效,等效多出 57% 计算量;类似技巧此前刚被用来刷新 nanoGPT speedrun 纪录。原推附论文链接,讨论 CPU n-gram 查表的扩展性。
「Infra」频道最新
- Cloudflare 开发者用户 3 年增 10 倍：从 100 万涨至 1000 万 — yihui_indie · 2026-10-30
- AWS 给出 2027/2028 年营收增速 40%+ 指引，瞄准万亿美元业务 — mitchdeg · 2026-10-30
- 2028 年「数据中心里的天才国度」将只受数据中心数量限制 — timshi_ai · 2026-10-30
- 网友晒数据中心闲置 GPU 库存,调侃「找到我们的显卡了」 — Beneficial-Ad-8127 · 2026-10-30
- 英特尔股价暴跌 20%：AI 繁荣推高内存价格，反噬 PC 芯片业务 — pstAsiatech · 2026-10-30
- Wafer 日处理 token 达 2 万亿，从 1 万亿翻倍仅用 4 天 — ycombinator · 2026-10-30