自研 CPU 推理引擎跑 Qwen3.5 0.8B:比 llama.cpp 快 2.9 倍 prefill
Danmoreng · reddit · 2026-09-08
Reddit 用户 Danmoreng 用 Codex 在周末写了一个 C++ 推理引擎和自定义 4-bit 量化格式 H128/Q4-G32-DOT4,带激活校准与分块误差补偿,用于在 CPU 上跑 Qwen3.5 0.8B(用途是 GPU 被占用时的本地语音听写清理模型)。
- 模型权重 425 MB,比 Unsloth 混合精度 Q40 小约 71 MB,困惑度与 KL 散度相当
- 在 Ryzen 9 9955HX3D(8 个 V-Cache 物理核)上对比 llama.cpp 的 Q40:prefill 快约 2.9 倍、单请求 decode 快 1.3 倍、batch-16 吞吐高 1.7 倍
- 对比 ikllama.cpp 同款 GGUF:单请求 decode 快 18%,batch-16 吞吐高 53%
- 代码开源于 GitHub:Danmoreng/qwen35-cpu
「Infra」频道最新
- 全同态加密 GPT-2 速通赛开跑:现纪录 3.031 秒/token — tensorqt · 2026-10-27
- 开源编译器 Latch 从 PyTorch 生成训练 megakernel，H100 上提速 2.75 倍 — sguada · 2026-10-27
- 斯坦福上线 GPU 超算 Marlowe，服务数据科学与 AI 研究 — StanfordHAI · 2026-10-27
- NVIDIA 称 HGX Rubin NVL8 每兆瓦 token 吞吐为 B200 的 10 倍 — thursdai_pod · 2026-10-27
- Together 推出并行 LoRA 实验：多个实验共享同一批 GPU，免重复配置 — togethercompute · 2026-10-27
- 要么人力商品化，要么 GPU 商品化：算力经济二选一之辩 — _AustinCalvert_ · 2026-10-27