单卡 RX 9070 XT 跑 Qwen 27B 满 262k 上下文，解码超 80 t/s
bottlestreet3d · reddit · 2026-10-17
作者在 llama.cpp 上实现自适应 KV 流式传输与 RDNA 4/ROCm 优化，让 Qwen 27B（IQ4XS 权重，Q8/Q4 KV cache）在单张 16GB RX 9070 XT 上以完整 262k 上下文运行，MTP 加速下解码达 80+ t/s。
问题：27B IQ4XS 约 14.3GB，262k 上下文的 KV cache 需 7.4GB，16GB 显卡在 65k token 后就会 OOM。
核心方案：
- 将 CUDA 版自适应 KV 流式传输移植到 ROCm/HIP：完整 KV cache（7.4GB）留在主机内存，经 PCIe SDMA 异步流式传输有限工作集（prefill 450MiB、decode 2100MiB），与计算重叠
- 吸收社区内核优化：4 行多列 mmvq、16 字节向量化加载、SwiGLU 融合、单队列异步 HIP graphs
- 自研改进：兄弟激活复用、VGPR 内融合残差加+RMSNorm、多列 SwiGLU/GDN 融合、online Log-Sum-Exp 分块 prefill 与流水线预取、持久 graph arena、优化推测解码（合并 MTP verify、栈式 n-gram）
性能：解码 36.5→9.5 t/s（1k→262k），MTP 下 71.8–86.5 t/s（短上下文）至 31.1 t/s（262k）；prefill 1368→586 t/s。功耗限制在 231W（-24%）仅损失 3.6% prefill 性能。代码已开源。
「Infra」频道最新
- 免刷写改 RTX 50/40/30 系 VBIOS，可解锁 5090 功耗与电压 — panchovix · 2026-10-17
- Perplexity 本地决策模型 Flash 实测：准确率持平，速度快近一倍 — WolframRvnwlf · 2026-10-17
- Mac LLM 计算器：算准你的 Apple Silicon 能跑哪个模型多快 — shauntrennery · 2026-10-17
- llama.cpp 新 PR:低比特量化 CUDA MMVQ 获大幅提速 — jacek2023 · 2026-10-17
- 印度全国仅约 3 万块 GPU,专家称建前沿模型算力缺口达 10-20 倍 — CatAstro_Piyush · 2026-10-17
- MiniCPM-V 4.7 仅占 3GB 显存，本地跑出 100 tokens/秒 — NielsRogge · 2026-10-17