把 antirez 的 ds4 砍到 45k 行:Qwen3.8 Flash Next 在 Metal 上快 10%
Chida82 · reddit · 2026-10-05
开发者 Chida82 分享了对 antirez 的 ds4(DwarfStar)推理引擎的深度定制:只保留 Qwen3.8 Flash Next 与 Metal 后端,把 85k 行的 ds4.c 删减到 45k 行,使整个代码树能装进一个上下文窗口。
核心思路与结果:
- 动机:coding agent 时代,patch 的真实成本还包括 agent 要读多少无关代码;砍掉噪声让优化更便宜、更安全
- Q2:decode 快 9–13%,MTP 从 75.8 提升到 86.7 tok/s;Q4:prefill 提升 2–11%,MTP 从 77.8 到 85.9 tok/s
- 输出与原版逐 bit 一致:每步必须通过 GGUF、greedy 解码 token 级 parity 校验 + 交错 A/B benchmark,无 KV cache 量化、无近似 kernel
- 从 ds4 的 PR 队列里筛出 20 个 commit 采纳、30 个弃用
- 新增专家权重的 SSD streaming,48GB 模拟机上 Q2 达 27 tok/s,开 MTP 约 35 tok/s
- 用 git merge + rerere 保持与上游同步;StarForge 仓库与模型/Metal 解耦,可按清单给自己的模型或 CUDA 做同款裁剪
展示了「为 agent 可维护性而精简代码库」这一新工程范式。
「编程与Agent」频道最新
- Anthropic 开放 Claude 前置部署工程师学习路径,约 9.5 小时学完 — leslysandra · 2026-11-20
- Google 开源 Sashiko:Gemini 驱动的 Linux 内核代码审查 Agent — rseroter · 2026-11-20
- boxd 新增 8 家集成:Dify、n8n、LangChain 等接入其机器 — JensHonack · 2026-11-20
- OpenAI 发布 GPT-Live 提示词指南:多语言与地区口音调法 — pbbakkum · 2026-11-20
- Rippling 推出 AI 应用生成:员工用自然语言就能搭内部工具 — andreisavu · 2026-11-20
- Gemini 推 Live Interactions API,Genie 4 原生支持 WebRTC — _philschmid · 2026-11-20