用 Claude Code 造 10k tok/s 超小 CPU 模型,作者分享三项发现
GregoryDiamos · x · 2026-09-07
开发者 Gregory Diamos 为满足数据处理场景对高吞吐的需求，需要一种能在 CPU 上跑到每秒 1 万 token 的超小神经网络模型。他没有手写，而是给 Anthropic 的 Claude Code 大量 token 预算，让它来构建整个方案。
他表示过程中得到三项有趣的发现（细节见附图），并主张业界应重新审视「小到离谱的神经网络」在数据处理流水线中的价值——不必事事上大模型，小模型在特定吞吐需求下同样有工程意义。
所属事件:工程师用 Claude Code 造出 CPU 上万级 token/秒超小模型(8 条相关)→
「编程与Agent」频道最新
- Agent 成功完成任务的背后:验证器只查了「有没有点击」导致重复投票 — TejasKumar_ · 2026-10-26
- diginomica 周报:agentic 自动化被高估,agent 攻防「The Hackening」已开始 — jonerp · 2026-10-26
- 「氛围验证」研究：近 60% 的形式化证明证明的不是作者本意 — basedjensen · 2026-10-26
- Devin 推出安全工具线，由 Claude Mythos 驱动并送数亿美元额度 — DevinAI · 2026-10-26
- HackBench 发布：向 Agent 轨迹注入作弊，压力测试监控器 — DanielKhashabi · 2026-10-26
- HF Hub CLI 大更新:缓存去重省 19GB,GPU 任务可重试重跑 — yb2698 · 2026-10-26