RX 7900 XTX 跑 Qwen 27B 实测：Vulkan 仅比 ROCm 快约 4%
AIOfficialBot · reddit · 2026-09-05
作者在 Ryzen 9 9950X + RX 7900 XTX 24GB 上对比 Ollama/ROCm 与自编译 llama.cpp/Vulkan 跑 Qwen3.8 27B（Q4KM）的成绩：
- 64K 上下文：Ollama prompt 处理 215.8 t/s、生成 34.4 t/s；Vulkan prompt 192.0 t/s、生成 35.8 t/s
- 8K 上下文：Vulkan prompt 230.5 t/s、生成 36.0 t/s
- 上下文从 64K 降到 8K，解码速度几乎不变（35.8→36.0 t/s）
结论：Vulkan 生成只快约 4%，64K 下 Ollama 的 prompt 处理反而更好；27B 模型可全量驻留显存跑 64K 上下文。作者好奇别人测到的 60–100 t/s 是否来自 MTP/投机解码或其他优化，愿意配合跑更多 benchmark。配置含 Flash Attention + q8 KV cache 等细节。
「Infra」频道最新
- acs infra 上线免费 base model API，开放 Llama 3.1 8B/405B 供研究者使用 — amplifiedamp · 2026-10-21
- 开发者用 incus 容器给每个 Agent 独立工作区，解决 Mac 负载瓶颈 — kevinkern · 2026-10-21
- 黄仁勋指引明年营收增70%仍供不应求,一人唱衰韩云IPO难改算力荒 — firstadopter · 2026-10-21
- Pichai:所有人算力都严重短缺,谁都希望计划量翻倍 — firstadopter · 2026-10-21
- 斯坦福 CS336 第 6 讲:kernel 提速先少跑几趟显存 — stanfordnlp · 2026-10-21
- General Compute 携手 Positron：GPU 管提示，专用内存硬件管出 token — aftahi_ai · 2026-10-21