单张 5090 如何跑 Qwen3.8-27B：量化与上下文的取舍讨论
DustNearby2848 · reddit · 2026-08-18
Reddit 用户发帖讨论如何在单张 RTX 5090 上托管 Qwen3.8-27B 用于编程：由于该模型推理链很长，需要大上下文，作者尝试过 unsloth/LM Studio 的 Q4 量化、ninfer 的 Q4 和 NVFP4，以及 sglang 的 NVFP4。实测中 ninfer 能提供较大上下文和较高速度，但其 INT8 KV cache 并不理想，目前正在试验中等长度上下文。帖子征集大家在用的推理框架、量化精度与上下文大小。
「Infra」频道最新
- Oracle 一周跌 12%、较 6 月高点近腰斩，市场用脚投票 OpenAI 敞口 — alvelda · 2026-10-16
- 美国数据中心暂停令突破 400 起，AI 多头称这反而利好 AI 长期发展 — kevinsxu · 2026-10-16
- 微软研究院发布 Magnetar：最快 zkVM，比现有方案快 10-39 倍 — jedisct1 · 2026-10-16
- Bonsai 2 2B 端侧模型登 iPhone:120 token/s,速度两倍于 Qwen 3.5 2B — cephaloform · 2026-10-16
- AI 挤占产能：三星因 E-glass 短缺下调 Q4 手机产量 — zephyr_z9 · 2026-10-16
- 美国白宫科技政策主任谈 Empire AI:纽约共享算力基建 — mkratsios47 · 2026-10-16