Qwen3.8 Flash Next 本地跑出 49 tokens/s,双 3090 配置全公开
whiteh4cker · reddit · 2026-09-11
Reddit 用户 whiteh4cker 分享用 2×RTX 3090（Windows 11、192GB DDR5）在 llama.cpp 的 FlashNext 分支上本地运行 Qwen3.8 Flash Next UD-Q4KXL 的实测结果：生成速度从主分支的 20 t/s 提升到 49 t/s，提示处理约 140 t/s（提示处理主分支更快）。
帖子给出了完整的复现细节：
- 编译命令（CMake + Ninja + CUDA 13.3.1，开启 GGMLCUDA）
- 完整启动脚本：262K 上下文、bf16 KV cache、专家权重放 CUDAHost + per-layer embedding 放 CPU、moe-expert-cache 150
- 使用 draft-mtp + ngram-mod 双路投机解码（MTP 草稿模型 + n-gram 匹配 12–24）拉高生成速度
- 推理参数 temp 1.0 / top-p 0.95 / top-k 20，reasoningeffort 设为 xhigh
对想在本地跑最新 MoE 模型并压榨多卡速度的人，这是一份可直接照抄的配置。
「Infra」频道最新
- Neocloud 初创 General Compute 融资 1 亿美元,专押英伟达体系外推理芯片 — tonygwu · 2026-10-28
- 超快开源推理创企获 1 亿美元 A 轮融资,首批机架 2027 Q1 上线 — tonygwu · 2026-10-28
- 用 $TAO 两分钟上手开源模型：Bittensor 侧链 SN53 实测体验 — markjeffrey · 2026-10-28
- AI 代码潮致 CI 需求暴涨，Celesto 一周 CI 分钟数增长 9 倍并分享扩容细节 — aniketmaurya · 2026-10-28
- DeepMind 团队发布 Rust 虚拟机 Capsem，为 AI Agent 提供 hardened 隔离环境 — rakyll · 2026-10-28
- SemiAnalysis:OpenAI 正洽谈约 1GW TPU 租约并寻找场址 — dylan522p · 2026-10-28