单卡 9060 XT 16GB 跑 Qwen3 27B：262k 上下文 42.7 tps
Maglcite · reddit · 2026-10-18
Reddit 用户展示了一套低成本本地 LLM 方案，证明不必堆多卡也能跑长上下文大模型。
- 硬件：仅一张 RX 9060 XT 16GB + 24GB DDR5（家庭服务器整体只占 16GB），远低于常见的 4×3090 阵容
- 模型与配置：Qwen3 27B，unsloth IQ4XS 量化，KV cache 量化（值 q4 / 键 q8），配合 MTP + ngram 预测和 KV cache 流式技术，跑到 262k 上下文
- 性能：生成 42.7 tps，20k 上下文预填充 658 tps；200k 上下文时降为生成 35 tps / 预填充 300 tps
- 工具：使用 achyudh 的 llama.cpp fork，作者还让 Grok 机器人 SSH 进去帮忙修复了缺失 PCIe atomics 的 bug
「Infra」频道最新
- 爆料称 OpenAI 四月日处理 token 已约 15 万亿，现在或更高 — JoshPurtell · 2026-10-18
- 1.68x 推理加速落地，可直接加速 GRPO 强化学习训练 — yacineMTB · 2026-10-18
- OpenRouter 仅占可触达市场一小部分，日万亿 token 只是零头 — sloppenheimer · 2026-10-18
- 覆盖 Bedrock/Azure/Vertex 三万条价格，开发者做出云端模型变动雷达 — jsandhu0780 · 2026-10-18
- 1270万 tokens 仅花 0.14 美元，缓存命中率 99.6% 的 agent 实测 — teortaxesTex · 2026-10-18
- SlateDB+Lance+Datafusion 自建数据栈,为客户年省数百万美元 — sh_reya · 2026-10-18