极客用 Claude Code 造超小神经网络,M4 芯片跑出 1500 tok/s

GregoryDiamos · x · 2026-09-14

开发者 Gregory Diamos 分享了一次有趣的实践：为做数据处理需要一个能在 CPU 上跑到 10k tok/s 的模型，于是他把一堆 token 扔给 Anthropic 的 Claude Code 来构建「离谱地小」的神经网络，得到三个有趣的发现（详见其论文/帖）。受此启发，另一位开发者把类似思路移植到 MacBook Air M4 的 SME2 矩阵指令上做了 transformer，实测约 1500 tok/s（对论文方案做了不少改动）。这条线展示了「超小模型 + CPU 矩阵指令」这条被忽视的推理路线，也展示了用编码 agent 直接产出一手工程方案的可能。