把 antirez 的 ds4 砍到 45k 行：Qwen3.8 Flash Next 在 Metal 上快 10%
Chida82 · reddit · 2026-10-05
开发者 Chida82 分享了对 antirez 的 ds4（DwarfStar）推理引擎的深度定制：只保留 Qwen3.8 Flash Next 与 Metal 后端，把 85k 行的 ds4.c 删减到 45k 行，使整个代码树能装进一个上下文窗口。
核心思路与结果：
- 动机：coding agent 时代，patch 的真实成本还包括 agent 要读多少无关代码；砍掉噪声让优化更便宜、更安全
- Q2：decode 快 9–13%，MTP 从 75.8 提升到 86.7 tok/s；Q4：prefill 提升 2–11%，MTP 从 77.8 到 85.9 tok/s
- 输出与原版逐 bit 一致：每步必须通过 GGUF、greedy 解码 token 级 parity 校验 + 交错 A/B benchmark，无 KV cache 量化、无近似 kernel
- 从 ds4 的 PR 队列里筛出 20 个 commit 采纳、30 个弃用
- 新增专家权重的 SSD streaming，48GB 模拟机上 Q2 达 27 tok/s，开 MTP 约 35 tok/s
- 用 git merge + rerere 保持与上游同步；StarForge 仓库与模型/Metal 解耦，可按清单给自己的模型或 CUDA 做同款裁剪
展示了「为 agent 可维护性而精简代码库」这一新工程范式。
「编程与Agent」频道最新
- 开发者让 AI 反复挑刺打磨游戏,AI 工具链做出成品可玩 — AIandDesign · 2026-10-05
- Karpathy 谈读懂数学模型输出:用 ASD-STE100 与图表让 LLM 更易读 — dair_ai · 2026-10-05
- 开发者把编码 Agent 界面改造成 iMessage 风格,称生活更美好了 — davidfromkansas · 2026-10-05
- Reddit 网友用游戏本+iPhone+Tailscale 搭起本地 AI Agent 网络 — Due_Recording_5802 · 2026-10-05
- 单工具全过却整链失败：实测揭示 MCP 测试必须跑完整工作流 — Stock-Pumpkin-8859 · 2026-10-05
- 网友点子:AI agent 别只演示订机票,试试报税和记账这些真活 — vivekhaldar · 2026-10-05