纯 CPU 推理引擎 Project Zero v0.2.0:MoE 速度反超 llama.cpp
shifu_legend · reddit · 2026-10-24
作者 shifulegend 发布 CPU-only LLM 推理引擎 Project Zero 的 v0.2.0。纯 C 编写、无外部 ML 框架依赖,单个二进制可跑 BitNet/Falcon 三值模型、Ternary-Bonsai-27B、dense GGUF、DeepSeek-V2 与 Qwen3 MoE 以及 Mamba-1,无需 GPU 和 Python。
性能亮点
- DeepSeek-V2-Lite-Chat Q4KS 在 4 vCPU AVX-512 Xeon 上从约 6.3-7.3 tok/s 提升到 11.7-12.6 tok/s,超过同机 llama.cpp 记录的 9.4-10.5 tok/s;常驻内存从 12.0GB 降到 10.6GB。
- 优化手段:融合专家 FFN、8-bit 激活的整数内核、动态专家调度、权重保持量化表示不展宽。
新功能
- --parallel N 并发批处理:4 并发客户端下 SmolLM2-135M 聚合吞吐 45→101 tok/s,SmolLM2-1.7B 12.7→29.8 tok/s。
- 内置浏览器聊天 UI 与 OpenAI 兼容 API、免 root 校验安装器、引导式配置、语法约束 JSON 输出、投机解码、LoRA、int8/int4 或磁盘 KV cache。
- 启动时间从 20-70 秒降到约 1-8 秒。
GitHub: github.com/shifulegend/project-zero,make demo 即可跑通;作者征集各硬件实测数据,尤其想找人排查 dense Q4K 的剩余性能差距。
「编程与Agent」频道最新
- MCP Tasks/Elicitations 今日上线 Claude Code CLI,已开放文档 — ClaudeDevs · 2026-10-24
- MCP Elicitations 落地:插件任务中可直接向用户索要输入 — ClaudeDevs · 2026-10-24
- Anthropic 为 Claude 引入 MCP Tasks,插件可跑长时任务 — ClaudeDevs · 2026-10-24
- Claude 生成互动 3D 办公室：内嵌 AI 角色还能玩赛车小游戏 — HeyNayeem · 2026-10-24
- Heurist Finance 工作台开源：让 Claude 在云端像专业投资人盯盘 — builderjaydub · 2026-10-24
- CTO 用新模型 d1.1 搭 Telegram 机器人:有人进办公室就发照片 — helloiamleonie · 2026-10-24