开源 fork 让 2019 年 Radeon VII 跑 47GiB MoE，解码提速 49%
milpster · reddit · 2026-11-07
开发者 milpster 发布 strata 的 gfx906 fork，让 ROCm 主机搭配闲置 NVIDIA 卡混合推理大模型，主打在老旧 AMD 显卡（Radeon VII/MI50）上跑约 47GiB 的 MoE 模型（如 47 GiB 级 Swift/Qwen 系列）。核心亮点：
- gfx906 完整可用：全 HIP 后端 + 自制单目标 rocBLAS，解决原版首次推理即段错误的问题。
- AMD+NVIDIA 混合服务：NVIDIA 卡通过 socket 向 AMD 引擎提供 expert/prefill 行，原版无跨厂商路径。
- HIP 上跑推测解码：DFlash2 drafter 在 AMD 卡上运行，支持采样请求的精确匹配验证。
- 自愈生产对：SIGKILL 掉 helper 后请求照常完成，supervisor 自动重建。
- 性能：池化中位解码 34.7 vs 23.3 tok/s（+49%），200-600 token 短 prompt 读取提速 1.4-2.4 倍，省 6.2GiB 主机内存；代价是新 prefill 读取慢约 12%。
- 质量验证：greedy 80k token infill 与原版逐字节一致，teacher-forced 门控 top-1 100%、KL 0，291 项测试全绿，所有提速需同时通过速度与质量两条门禁。
仓库含完整构建指南（固定 ROCm 6.1）、基准 harness 与会话日志，所有结论可复现。
「Infra」频道最新
- AI 芯片股暴跌后反弹,AMD 与英伟达回升但分析称或只是暂时 — emmanuelvivier · 2026-11-07
- 反讽 Altman 数据中心论：满载 H100 就是一台会算数的电暖气 — thomasahle · 2026-11-07
- 东京电子涂胶显影机明年增速或超 50%，远超史上最高的 43% — zephyr_z9 · 2026-11-07
- 极客把 SmolLM-135M 塞进纯 SQLite：40秒才吐一个 token — cneuralnetwork · 2026-11-07
- 学者讽黄仁勋：向中国卖芯片无需「间谍」说服，他自己就想卖 — pmddomingos · 2026-11-07
- Anthropic S-1 自认亏损将持续，年承诺支出高达 1100 亿美元 — GaryMarcus · 2026-11-07