RTX 3090 跑 Qwen 3.8 27B 约 35 t/s
cviperr33 · reddit · 2026-08-15
用户报告在 RTX 3090 上使用 llama.cpp 运行 Qwen 3.8 27B（IQ4 NL 量化），速度约为 34-36 tokens/s。相比此前 3.6 版本的 50-60 t/s 有所下降，但尚未开启推测解码。尽管速度变慢，用户认为模型体验属于次世代级别。
所属事件:RTX 3090 优化运行 Qwen3.8-27B 推理速度提升(3 条相关)→
「Infra」频道最新
- Artificial Analysis 首测 Vera Rubin NVL72:每兆瓦吞吐最高达 GB300 的 5.7 倍 — ArtificialAnlys · 2026-10-16
- Vera Rubin NVL72 实测：每兆瓦吞吐最高达 GB300 的 5.7 倍 — ArtificialAnlys · 2026-10-16
- 英伟达 Vera Rubin NVL72 首批实测：每兆瓦吞吐最高达 GB300 的 5.7 倍 — ArtificialAnlys · 2026-10-16
- Turing Post 盘点 2026 年 14 款开源 LLM 可观测性工具 — TheTuringPost · 2026-10-16
- 本地 AI 不是隐私功能而是路由问题：任务该跑在笔记本、内网还是云端 — bigdata · 2026-10-16
- 把 Agent 工作从 GPU 挪回 CPU，让动作更持久可预测 — cramforce · 2026-10-16