双 3090 跑 Qwen3.8 Flash Next：llama.cpp 配置求调优，附完整参数
ChopSticksPlease · reddit · 2026-09-12
作者分享在双 RTX 3090（48GB 显存）+ 128GB DDR4 + 40核 Xeon（Proxmox 虚拟机、PCIe 直通、NUMA 绑定）上跑 Qwen3.8 Flash Next 的 llama.cpp 配置，并征求改进建议。
当前成绩：PP 130-200 tps（疑似 CPU 瓶颈）、TG 约 14-22 tps（平均约15）。关键参数包括 131072 上下文、q80 KV cache、flash-attn、-ts 26,10 层分配、-ncmoe 26、perlayertokenembd=CPU 张量覆盖等，手动调参以避免崩溃。
「Infra」频道最新
- 研究者为 SGLang 写 200+ 条属性约束，找出 10 个推理缺陷 — LingmingZhang · 2026-10-31
- 闭门夜话:AI 时代数据库与队列等经典基建更重要而非更次要 — graceisford · 2026-10-31
- Lux Capital 牵头闭门夜话:Cognition 与 Modal 谈 AI 基建与安全 — graceisford · 2026-10-31
- FastVideo 适配 DGX Spark：aarch64 + CUDA 13 无 wheel 也能装 — victormustar · 2026-10-31
- 客户要 P 核:Intel 把 18A 产能转往 Intel 3 扩产 Granite Rapids — zephyr_z9 · 2026-10-31
- Modal 推出 Sticky Sessions:无服务器容器也能保住会话状态 — graceisford · 2026-10-31