实测 Qwen3.8-Flash-Next FP8：双卡实现 52.4 万上下文
SpendLucky1273 · reddit · 2026-08-29
作者成功在 2 张 RTX PRO 6000 (Ada) 上运行 Qwen3.8-Flash-Next FP8，实现了 524K 上下文。
核心配置：
- TP2 + EP2, MTP3, PLE CPU offload;
- YaRN 2x 扩展上下文;
- 关键参数：--max-model-len 524288。
遇到的问题与修复：
- 扩展至 524K 时，目标模型正确切换，但 MTP draft 模型仍停留在 262K，导致缓存几何验证失败；
- 修复方法：Patch Qwen3.8 MTP 配置，使 draft 继承 target 的 maxmodellen。
当前状态：KV Cache 大小 654,980 tokens，并发 1.25x，DeepGEMM FP8 MoE 后端自动启用。
「Infra」频道最新
- 微软深度优化 Windows 迎接 Nvidia RTX Spark：两步装好本地 AI agent — tomwarren · 2026-10-15
- 微软联手Nvidia优化Windows,为RTX Spark Arm笔记本铺路 — The Verge AI · 2026-10-15
- 全球智能手机出货量暴跌 22%,创史上最大季度跌幅,元凶是 AI 抢内存 — Polymarket · 2026-10-15
- SK 海力士再跌 11%:已低于 2027 财年预期利润 3 倍市盈率 — JOBhakdi · 2026-10-15
- ASML 高管:「我们在欧洲一台光刻机都卖不出去」 — NinaDSchick · 2026-10-15
- Nvidia 将 SPCX 归入「超大规模」类，云厂商依赖度暗藏变数 — RihardJarc · 2026-10-15