llama.cpp AMD GFX906 优化分支：PP 提升 14%，长上下文填充提升 9%
milpster · reddit · 2026-09-01
作者发布了针对 AMD Radeon VII / MI50 / MI60 (GFX906) 架构优化的 llama.cpp 分支。经测试，相比上游版本，该分支在首批次 Prompt Processing (PP) 上提升 14.1%（379.2 vs 332.3 t/s），在 12 万上下文填充上提升 9.3%（252.6 vs 231.1 t/s），深上下文 TG 性能持平。优化主要涉及重做小批量 Flash Attention 路径及添加自适应原生/转换选择。
「Infra」频道最新
- 覆盖 Bedrock/Azure/Vertex 三万条价格，开发者做出云端模型变动雷达 — jsandhu0780 · 2026-10-18
- 1270万 tokens 仅花 0.14 美元，缓存命中率 99.6% 的 agent 实测 — teortaxesTex · 2026-10-18
- 单卡 9060 XT 16GB 跑 Qwen3 27B：262k 上下文 42.7 tps — Maglcite · 2026-10-18
- SlateDB+Lance+Datafusion 自建数据栈,为客户年省数百万美元 — sh_reya · 2026-10-18
- 视频生成 API 每 10 秒约 0.5 美元,自建服务器何时更划算? — Key-Lychee-913 · 2026-10-18
- vLLM 联手 NVIDIA 优化 Kimi K3:GB300 上解码达 842 tokens/s — vllm_project · 2026-10-18