Qwen 3.5 9B 联手 DFlash 实测：R9700 上 75 tok/s 推理详解
karmakaze1 · reddit · 2026-08-20
Reddit 用户分享了在 R9 7900 上实现 Qwen 3.5 9B 模型 75 tokens/sec 推理速度的完整实践方案。该方案结合了微调模型 DavidAU/Qwen3.5-9B-The-Defiant-Fable... 与 DFlash 草稿模型加速技术，使用 Q80 量化并开启 64K 上下文。
核心步骤包括：
- 准备 Tokenizer：下载官方 Qwen BPE 文件到 DFlash 源目录。
- 转换模型：使用 converthftogguf.py 将草稿模型转换为 GGUF 格式。
- 配置服务：修改 INI 配置，移除过时参数，使用 model-draft 和 spec-draft-n-max 优化 Speculative Decoding。
- 启动运行：提供了 CLI 启动命令示例。
该方案通过草稿模型显著提升了推理生成速度。
「编程与Agent」频道最新
- Devin Oncall 登顶 SREGym：自动值守排障达 100% 端到端成功率 — tianyin_xu · 2026-10-16
- 多模型同题设计 UI:用 Paseo 编排四套界面方案竞技 — vista8 · 2026-10-16
- 独立研究者发布 Cortex:用重放实测自动进化与修剪编码 Agent 的 skills 和 rules — Samuele Giampieri · 2026-10-16
- 工具调用才是 AI 编程速度瓶颈，Crabbox 五招给 Agent 提速 — steipete · 2026-10-16
- WorldBox 沙盒让 GPT-6 Astra 的 MazeBench 得分从 23 翻倍到 61 — ZhitingHu · 2026-10-16
- 两条 prompt 让 Gemini 4 Argon 把单机游戏改成完整多人对战 — chongdashu · 2026-10-16