纯汇编跑通 Qwen3.5-0.8B：单 CPU 线程 6.51 tok/s 胜过 PyTorch
suayptalha · reddit · 2026-11-08
开发者 suayptalha 用纯汇编（Assembly）实现了 Qwen3.5-0.8B 的完整推理，代码开源在 GitHub。
结果：在 AMD EPYC 7B12 上单 CPU 线程生成 6.51 tokens/s，而 Transformers 参考实现为 4.34；两次运行生成的 32 个 token 与参考完全一致。
实现细节：
- 分词、模型推理、采样全部用汇编完成；运行时无 libc、无 Python（Python 仅在构建期准备分词表）
- 汇编版直接读 BF16 权重；Transformers 对照组用 FP32 加载并走了 PyTorch fallback kernel
- 基准条件：19 个输入 token，贪心解码，跑两次
结论虽非严格对等比较（精度与 kernel 不同），但展示了极简栈下 LLM CPU 推理的可行性。
「Infra」频道最新
- Datadog 仍是可观测性霸主，为何口碑却两极分化？ — thedealdirector · 2026-11-08
- 推理芯片的悖论：快 3 倍但闲置半天并不等于便宜 3 倍 — ai · 2026-11-08
- Baseten Loops 正式 GA:serverless SFT/RL 训练，按 token 计费 — baseten · 2026-11-08
- 笔记本合盖后你的 Agent 在哪跑?四种常驻方案与隐性成本 — michaelTM_ai · 2026-11-08
- Google 把 Agent Substrate 与 gVisor 捐给 CNCF，为百万级 AI Agent 做隔离沙箱 — emmanuelvivier · 2026-11-08
- 美批准 Nvidia 向空壳公司卖 H200,办公室人去楼空 — emmanuelvivier · 2026-11-08