单卡 R9700 跑 Qwen3.8-Flash-Next:230k 上下文下 863 t/s prefill、35 t/s 解码
Designer_Elephant227 · reddit · 2026-10-02
Reddit 用户分享在单张 AMD R9700 上用 exllamav3(rocm fork)本地运行 Qwen3.8-Flash-Next 的完整配置与速度数据,征求调优建议。
- 模型:turboderp 的 exl3 5.05 bpw 量化(head/vision 6 bit、mtp 5 bit)
- 混合专家卸载:每层 512 个专家中 112 个在 GPU,其余 400 个在 CPU(16 线程);102GB bf16 ngram 表从 NVMe 流式读取
- 262k 上下文、q8 KV cache、chunk 4096,MTP drafting 开启(接受率约 53-54%)
- 实测 230k 上下文散文:prefill 863 t/s(101k 新 token,其余走 prefix cache)、解码 34.7 t/s
- 对 gfx12 需自行 patch 一个文件
「Infra」频道最新
- tinygrad 推出 768GB 显存 tinybox:4 张翻新 MI300X 售价 8.9 万美元 — viksit · 2026-11-19
- 纯 Rust 推理引擎 RustingStrata 实测:3060 上跑 Qwen MoE 略胜原版 Strata — Serious_Scarcity7818 · 2026-11-19
- 投资人感叹:市场对不确定性的厌恶盖过了英伟达财报赚钱能力 — MartinGTobias · 2026-11-19
- SGLang 宣布为新模型 DaisyRose-27B 提供 Day-0 支持 — ying11231 · 2026-11-19
- Linux LTS 补丁洪峰将至:单日 3318 个补丁,「人类根本审不完」 — pkqzy888 · 2026-11-19
- DaisyRose-27B 背后:自建沙箱服务降本 80%,百万次运行成功率 99.95% — BanghuaZ · 2026-11-19