16GB 显存跑 27B 模型:NInfer 4080 推理引擎实测 262 tok/s
roofkid · reddit · 2026-10-04
一位有 20 年软件工程经验的开发者发布 NInfer 4080,让 ISTA-DASLab-Qwen-3.8-27B-GSQ 量化模型在 RTX 4080 的 16GB 显存上跑到 100k 上下文,prefill 峰值 2720 tok/s、生成 262 tok/s,并开源分享(GitHub: roofkid/ninfer-4080)。
关键做法
- 采用 DFlash2 投机解码 + MTP3,大幅压榨通用引擎(llama.cpp/vllm)留在桌面上的性能:初始显存吞吐仅 200 GB/s(理论峰值 720 GB/s)令他震惊
- KV 量化换取长上下文,可按需在精度与上下文间切换;MBPP 保持 90-92%、HumanEval 95-96%,损失在测量噪声内
- 开发工作主要交给 DeepSeek V4.1 Flash(约 $13 额度),Pi 作 harness,提供 Docker 镜像方便复现
性能数据:98K 上下文下 prefill 1895 tok/s、DFlash2 K=7 解码 212 tok/s。作者感叹通用推理引擎为兼容性牺牲的性能远超预期。
「Infra」频道最新
- vLLM 发布 DSpark:Kimi K3.1 Pro 接受长度提升 30%,draft KV 有界 — AccBalanced · 2026-11-19
- 连串科技故障后 Costco 应急品遭抢购,26 台高价发电机 21 台售罄 — harris_edouard · 2026-11-19
- Starlink 手机直连落地蒙古:无信号自动连卫星发短信 — XFreeze · 2026-11-19
- SpaceX 宣布50亿美元亚利桑那算力园区:6GW,配24GWh储能电池 — JOBhakdi · 2026-11-19
- CoreWeave 更正债务利率为 15.5%,分析师追问 Blackwell 偿债方案 — Svwang1 · 2026-11-19
- tinygrad 推出 768GB 显存 tinybox:4 张翻新 MI300X 售价 8.9 万美元 — viksit · 2026-11-19