小模型塞进 L2 缓存,Intel CPU 上跑出 14572 tok/s
GregoryDiamos · x · 2026-09-07
Gregory Diamos 为满足数据处理管线需要 10k tok/s 的 CPU 模型，让 Claude Code 用大量 token 构建一个「极小神经网络」。结果在 Intel Emerald Rapids CPU（AMX 加速）上，把激活参数全部装进 L2 缓存后达到 14572 tok/s。他称过程中有三个有趣的发现（详见链接），主张重新审视「小到离谱」的神经网络在推理/数据处理场景的价值。
所属事件:工程师用 Claude Code 造出 CPU 上万级 token/秒超小模型(8 条相关)→
「Infra」频道最新
- Celesto 推出便宜近 90% 的 CI Runner，兼做 Agent 云电脑 — aniketmaurya · 2026-10-27
- AW-0 单卡 RTX 5090 推理 230ms:联合去噪比自回归代码快 2.4 倍 — trevordarrell · 2026-10-27
- 全美市议会话题追踪网站：数据中心热度仅次于匹克球场 — zakkohane · 2026-10-27
- Galaxy S26 纯端侧跑 MiniMax H3：7 分钟生成 5 秒带音频视频 — BidFunny4862 · 2026-10-27
- Unconventional AI 收购 NeuReality,冲刺算力效率提升 1000 倍 — NaveenGRao · 2026-10-27
- 马斯克断言:机器人 RAM 需求将超其他一切,超级智能算力将移向深空 — elonmusk · 2026-10-27