425MB 决策模型跑 CPU:自研 4bit 量化仅损 0.18pp 精度、快 2 倍
Danmoreng · reddit · 2026-11-22
作者 Danmoreng 分享其为 Qwen3.5 家族 0.8B 小模型 vibe-coding 的优化 CPU 推理引擎(开源仓库 qwen35-cpu)。他微调出一个专做决策的小模型,整体仅 425MB,可在普通 CPU 上运行。
关键数据:
- 自定义 4bit 量化(H128/Q4-G32-DOT4,校准后)在 13,601 道题的决策质量评测上 macro accuracy 68.74%,与 BF16(68.92%)和 Q80(68.87%)几乎持平,仅差 0.18pp;体积比 BF16 少 72% 张量字节。
- 速度约是 BF16/Q8 的两倍以上:在 AMD 9955HX3D 上小输入首 token 延迟 40-50ms(50.1ms vs BF16 的 81.1ms),579 token 输入时 222.9ms(BF16 为 546.5ms);老款 Intel 8750H 上约 218ms。
- 校准带来约 1.1pp 精度提升(67.61%→68.74%),且几乎不增加延迟。
这是端侧部署小型决策模型的完整可复现参考:量化方案、校准流程、延迟/精度基准全都公开。
「Infra」频道最新
- Gemini 4 Neon 自主优化 GPU 内核,AMD 硬件上跑出 5.9 倍 prefill 提速 — sebkrier · 2026-11-22
- SenseNova-Loop-9B 循环 transformer 笔记本 RTX 5090 跑出 1300+ tok/s — tebjan · 2026-11-22
- Intel 350W 新卡 D270 曝 5.9 倍吊打 RTX PRO 6000,实为田忌赛马 — StefanoGogioso · 2026-11-22
- TechCrunch:财报亮眼与高管喊话黄仁勋,两个英伟达 — TechCrunch AI · 2026-11-22
- Chollet:算力需求未见顶,GPU 现货价持续上涨是买入机会 — fchollet · 2026-11-22
- DeepMind 为 Gemma 4 内置投机解码草稿头,服务端提速 3.1 倍 — dair_ai · 2026-11-22