425MB 决策模型跑 CPU:自研 4bit 量化仅损 0.18pp 精度、快 2 倍

Danmoreng · reddit · 2026-11-22

作者 Danmoreng 分享其为 Qwen3.5 家族 0.8B 小模型 vibe-coding 的优化 CPU 推理引擎(开源仓库 qwen35-cpu)。他微调出一个专做决策的小模型,整体仅 425MB,可在普通 CPU 上运行。

关键数据:

这是端侧部署小型决策模型的完整可复现参考:量化方案、校准流程、延迟/精度基准全都公开。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →