RX 7900 XTX 跑 Qwen 27B 实测：Vulkan 仅比 ROCm 快约 4%
AIOfficialBot · reddit · 2026-09-05
作者在 Ryzen 9 9950X + RX 7900 XTX 24GB 上对比 Ollama/ROCm 与自编译 llama.cpp/Vulkan 跑 Qwen3.8 27B（Q4KM）的成绩：
- 64K 上下文：Ollama prompt 处理 215.8 t/s、生成 34.4 t/s；Vulkan prompt 192.0 t/s、生成 35.8 t/s
- 8K 上下文：Vulkan prompt 230.5 t/s、生成 36.0 t/s
- 上下文从 64K 降到 8K，解码速度几乎不变（35.8→36.0 t/s）
结论：Vulkan 生成只快约 4%，64K 下 Ollama 的 prompt 处理反而更好；27B 模型可全量驻留显存跑 64K 上下文。作者好奇别人测到的 60–100 t/s 是否来自 MTP/投机解码或其他优化，愿意配合跑更多 benchmark。配置含 Flash Attention + q8 KV cache 等细节。
「Infra」频道最新
- Railway 全区域暂停新构建，网友质疑是否「vibe coding」惹祸 — AaronBergman18 · 2026-10-21
- a16z：超人类 AI 硬件设计不难，难的是从图纸到量产的五道坎 — a16z · 2026-10-21
- 1 GW 数据中心能装 52.2 万张 Blackwell GPU：算法拆解 — bookwormengr · 2026-10-21
- DeepSeek 生产密度曝光：高饱和下每 GPU 时产出等值 38 美元 — bookwormengr · 2026-10-21
- PyTorch 官方详解 IBM Spyre 后端：KTIR 与数据流调度器如何跑通 AI 加速器 — PyTorch · 2026-10-21
- 独立开发者用 YAML 流水线+Spot GPU+vLLM 把 AI 账单大幅砍掉 — cmm324 · 2026-10-21