单卡 RTX 5080 跑 Qwen3.8-Flash-Next：解码 150 tok/s、预填充 4400 tok/s
yehyakar · reddit · 2026-10-22
一位 Reddit 用户在单张 RTX 5080 16GB + Core Ultra 9 285K 的 Linux 机器上实测 Qwen3.8-Flash-Next IQ3XXS 量化模型（64K 上下文）：解码 150 tok/s，16K-32K 提示预填充约 4400 tok/s。
关键细节：
- 用 LACT 调优 GPU：显存 +6000 offset、核心 2850MHz@900mV、360W 功耗墙（非默频）
- setup 推荐配置：64K 上下文、int8 KV、MTP 开启，专家缓存装了 5310 个专家（8.61GiB 显存）
- agent 会话场景：缓存命中 69.5%，回合 TTFT 0.97s
- 踩坑：Fedora 44 上 GCC 16 默认编译与 CUDA 需 g++-15 混用导致链接失败，需统一用 gcc-15/g++-15 全量重编
对本地部署与消费级显卡推理调优有实用参考价值。
「Infra」频道最新
- 研究者断言:终极 megakernel 不是内核,而是无限循环的 Transformer — DimitrisPapail · 2026-10-22
- SPCX 财报电话会提出「每瓦算力」指标,AI 竞争下沉到底层资源 — mobileraj · 2026-10-22
- Eureka Machine 适配 Mac 推理,MacBook 满载几乎无风扇噪音 — cong_ml · 2026-10-22
- 算力需求过热变「逐月拍卖」，分析师称长期合约模式正在消亡 — BenBajarin · 2026-10-22
- SGLang 团队用 TPU + TorchTitan 跑早期 RL 训练，结果令人鼓舞 — ying11231 · 2026-10-22
- CXMT 上市即超亚洲中小晶圆厂市值总和，约达 SK 海力士一半 — pstAsiatech · 2026-10-22