工程师用 Claude Code 造出 CPU 上万级 token/秒超小模型
工程师 Gregory Diamos 有一个实际需求：没有大型 GPU 集群预算，但数据处理管线需要一个能在单 CPU 核心上以约每秒 1 万 token 处理数据抽取与分类的超小模型。他没有手写网络，而是给 Anthropic 的 Claude Code 大量 token 预算，让模型自主探索「小到离谱的神经网络」，并公开了几个有价值的发现，引发社区重新审视微型神经网络的价值。
已确认
- 目标是 CPU 上 10k tok/s 的小模型推理，用于数据处理场景，由 Diamos 本人提出并实施；Claude Code 在高 token 预算下自主给出了有价值的发现。
- 在 Intel Emerald Rapids（Xeon）CPU 上借助 AMX 加速，将模型活跃参数尽量装入 L2 缓存，基本 bf16 配置下生成速度达 14572 tok/s；单核速度约 6616 tok/s，并涌现出基础推理能力。
- 训练损失单调下降。
- Diamos 指出通过更好的权重压缩可装入更多活跃参数，进一步提高性能。
- Diamos 明确提醒：该结果仍是实验性质，不适合直接当生产模型使用。
- 09-08，@seanmcdonaldxyz 延续「超压缩」思路，展示仅 1.3KB 的脚本即可展开整个 T9 系统，认为微型网络值得重做；@HAXXVII 也转述了这一实验并认为社区应当跟进。
为什么重要
- 这是一次「用大模型造小模型」的实践：Claude Code 在高 token 预算下自主设计网络，展示了 AI 辅助工程在模型架构探索上的潜力。
- 塞进 L2 缓存的超小模型在 CPU 上达到万级 tok/s 吞吐，且单核即涌现基础推理能力，对高吞吐 CPU 推理场景有直接参考价值；社区已开始跟进验证微型化与超压缩思路，相关论文也引发热议。
2026-09-07 ~ 2026-09-08 · 8 条相关
一手来源
- AMX 加速下 Xeon CPU 活跃参数入 L2 缓存跑出 14572 tok/s — GregoryDiamos ·
- 用 Claude Code 造超小神经网络：CPU 上跑到约 6k token/秒 — GregoryDiamos ·
- 单核 6616 tok/s 涌现基础推理能力，微型神经网络论文引热议 — GregoryDiamos ·
- 用 Claude Code 造 10k tok/s 超小 CPU 模型,作者分享三项发现 — GregoryDiamos · 2026-09-07
- 作者用 Claude Code 造 10k tok/s CPU 小模型，训练损失单调下降 — GregoryDiamos · 2026-09-07
- 小模型塞进 L2 缓存,Intel CPU 上跑出 14572 tok/s — GregoryDiamos · 2026-09-07
- 1.3KB 脚本展开整个 T9 系统，微型网络值得重做 — seanmcdonaldxyz · 2026-09-08
- 【源头】AMX 加速下 Xeon CPU 活跃参数入 L2 缓存跑出 14572 tok/s — GregoryDiamos · 2026-09-08
- 【源头】单核 6616 tok/s 涌现基础推理能力，微型神经网络论文引热议 — GregoryDiamos · 2026-09-08
另有 2 条近重复转述:HAXXVII_ · GregoryDiamos