开发者用 Claude Code 造出超高速 CPU 推理小模型

工程师 Gregory Diamos 为满足数据处理管线对高吞吐的需求，让 Claude Code 自主探索「小到离谱」的神经网络，目标是 CPU 上跑到每秒 1 万 token。结果模型可完全塞进 L2 缓存，在 Intel CPU 上单核跑出约 6k 至 14572 token/s 的速度，训练损失单调下降，作者还分享了三项有趣发现。

2026-09-07 ~ 2026-09-07 · 4 条相关

• 用 Claude Code 造 10k tok/s 超小 CPU 模型,作者分享三项发现 — GregoryDiamos · 2026-09-07
• 作者用 Claude Code 造 10k tok/s CPU 小模型，训练损失单调下降 — GregoryDiamos · 2026-09-07
• 小模型塞进 L2 缓存,Intel CPU 上跑出 14572 tok/s — GregoryDiamos · 2026-09-07

另有 1 条近重复转述:GregoryDiamos