gfx906 fork 让 MI50 等老卡跑 LLM:预填充提速 23%,40GB 塞下 250k 上下文
milpster · reddit · 2026-09-05
开发者 milpster 发布 gfx906-llama-cpp fork 的更新,针对 MI50/MI60/Radeon VII 等 AMD GCN 架构老显卡大幅优化:
- prefill PP16384 从 332.5 t/s 提升到约 410 t/s,+23%
- 120k deep fill +14%,TG 解码 +11%(约 15.1 t/s)
- 40GB 显存可 tight-fit 塞下 250k 上下文(上游无法容纳)
- 输出与上游 bit-identical(sha 与 token 逐 token 一致)
改进主要来自吸收上游 llama.cpp 的相关 PR。作者还表示这个 fork 是用 AI 辅助开发的。对想用廉价老卡本地跑大模型的用户是实用资源。
「Infra」频道最新
- 欧洲博士生可随需使用 B200,美国同行要靠数据创业公司养项目 — HildeKuehne · 2026-10-23
- 英伟达柏林 GTC:人形机器人与 Vera Rubin 超算成主角 — emmanuelvivier · 2026-10-23
- 联想 AI Library 新增 5 个用例，宣称一周部署、成本降 70% — shashib · 2026-10-23
- kernel 全面跑赢 cuBLAS 不重要,快速迭代调优才是关键 — blelbach · 2026-10-23
- llama.cpp 团队发布 Llama：Mac 菜单栏一键本地跑 AI 模型 — Hugging Face · 2026-10-23
- 中国日均 Token 消耗达 500 万亿,均价一年从 6.8 元涨至 13.46 元 — teortaxesTex · 2026-10-23