双 RTX 3090 跑 Flash-Next:Go-LLM 指南给出完整 vLLM 部署配方
Motor_Ad16 · reddit · 2026-09-15
作者 majidkorai 开源了 Go-LLM 仓库,整理了用 vLLM 运行 Qwen3.8-Flash-Next 的完整工作笔记,只含指南/配置/脚本,不含模型权重与私有设施。
- 两条路径:官方上游路线用 vLLM nightly 镜像 + DGX Spark 等 Blackwell 级硬件 + NVFP4 checkpoint;本地绕行路线用 vLLM 0.29.0 的 GGUF 支持 fork,在双 RTX 3090(sm86)上运行,附补丁、环境变量与启动配方
- 本地稳定推荐 IQ4XS 量化:1k 解码约 36.5 tok/s,32k 解码约 31 tok/s,126k 解码约 19 tok/s,32k 全新 prefill 约 1104 tok/s
- Q4KXL 仅作实验性:1k 解码约 32.3 tok/s,长上下文不稳定,大规模分载分配后出现性能退化与崩溃
- 内容包括启动配方、补丁说明、env 示例、systemd 单元、排障笔记与诚实免责:早前约 6665 tok/s 的 prefill 数字在文档配置下无法复现,不应作为预期结果宣传
「Infra」频道最新
- B200/H100 租金周内创新高，年内涨 47% 和 31% — TheZachMueller · 2026-11-02
- vikhyatk:通往奇点路上算力将交替出现过剩与短缺 — TheZachMueller · 2026-11-02
- Mac 端 PyTorch 10 月下载量达 329 万,环比涨 20.5% — LysandreJik · 2026-11-02
- CVSS 9.8 严重漏洞:ingress-nginx 可被未认证攻击者实现 RCE — evilsocket · 2026-11-02
- 内存涨价三倍，特斯拉把 Optimus 大脑内存砍掉三分之一 — aakashgupta · 2026-11-02
- 1.7B 本地模型 LFM3 在 MacBook 上首次答对曼城赛程查询 — NielsRogge · 2026-11-02