单卡 3090 跑 Qwen 27B 达 95+ TPS、262K 上下文,LlamAmpere v0.4 发布
Brief-Tap-6616 · reddit · 2026-09-29
开发者 JakeATX 发布 Llama.cpp 的 Ampere 专用优化分支 LlamAmpere v0.4,在单张 RTX 3090 上以 4.6bpw 量化跑 Qwen3.8 27B 实测 95+ TPS 生成速度、支持 262K 上下文,比上版提速约 10%、上下文再增 10%+,最强竞品 vLLM 相差不足 10% 但上下文上限更低。
要点:
- EXL3 格式提速显著,达到所测 4-XS-M 量化速度的约 80%,KLD 略低但未达任务级统计显著
- 模型基于 Swift-qwen 蒸馏,token 效率远高于原版训练,性能损失约 1%
- 提速对 12/16/20 GB 显存的用户最有价值
- 测速条件为 temp=1,避免 temp=0 短生成的「虚荣速度」
- 帖内附完整构建与启动命令(git clone + cmake,含 KV cache 量化 TQ 的讨论)
项目与模型均已开源(GitHub/Hugging Face),作者征集各 30 系显卡的实测结果。
「Infra」频道最新
- Sarvam 在印度上线 Token Factory 托管开源模型推理 — itsOmSarraf_ · 2026-11-16
- BIS 规则原文:封堵先进 AI 芯片的远程访问通道 — apples_jimmy · 2026-11-16
- 越狱PS4直连2013年GPU跑9B开源模型,速度达43 tokens/s — AIFlow_ML · 2026-11-16
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16
- Stratechery 虚构讣告:假如黄仁勋 2026 年卸任英伟达 — Gregory_C_Allen · 2026-11-16
- vLLM 单 GB300 机架跑 DeepSeek V4.1 Flash 达 954K tokens/s,每小时收入 39 美元 — bookwormengr · 2026-11-16