单核 6616 tok/s 涌现基础推理能力，微型神经网络论文引热议
GregoryDiamos · x · 2026-09-08
Greg Diamos 起初只是为了解决一个工程问题：没有大型 GPU 集群预算，却需要一个能在单 CPU 核心上以约 1 万 token/秒处理数据抽取与分类的模型。于是他让 Claude Code 用大量 token 来构建模型，结果意外得到一篇论文和新模型。
核心发现与约束：
- 所有训练与推理都锁定在 Intel Xeon Silver 4514Y 的单个物理核心（OMPNUMTHREADS=1），这是一次 roofline 极限测试
- AMX 在该模型使用的矩阵形状下比 AVX-512 fp32 快约 9 倍：最佳单核 bf16 GEMM 达 2231 GF/s，bf16 在 1024³ 规模下达 976–1074 GF/s，而无 AMX 的 fp32 仅 121 GF/s
- 关键结论：只要活跃参数量小到热权重能装进单核 2 MiB L2 缓存，单核 10000+ tok/s 的生成速度就是简单的算术题
初版帖子一天获得 12 万浏览和 87 条回复，作者在文中回应了社区质疑并指出其中哪些批评是对的。
所属事件:工程师用 Claude Code 造出 CPU 上万级 token/秒超小模型(8 条相关)→
「Infra」频道最新
- Celesto 推出便宜近 90% 的 CI Runner，兼做 Agent 云电脑 — aniketmaurya · 2026-10-27
- AW-0 单卡 RTX 5090 推理 230ms:联合去噪比自回归代码快 2.4 倍 — trevordarrell · 2026-10-27
- 全美市议会话题追踪网站：数据中心热度仅次于匹克球场 — zakkohane · 2026-10-27
- Galaxy S26 纯端侧跑 MiniMax H3：7 分钟生成 5 秒带音频视频 — BidFunny4862 · 2026-10-27
- Unconventional AI 收购 NeuReality,冲刺算力效率提升 1000 倍 — NaveenGRao · 2026-10-27
- 马斯克断言:机器人 RAM 需求将超其他一切,超级智能算力将移向深空 — elonmusk · 2026-10-27