Rust 自建推理引擎瞄准双 R9700 的 RDNA4 多 GPU

Public_Umpire_1099 · reddit · 2026-08-04

一位 Reddit 用户正在为 DSV4F 自建一套推理引擎：基于 Rust + HIP，目标是在 双 R9700 的 RDNA4 多 GPU 环境里跑得更稳、更快。

他的当前配置

• 2 张 R9700
• Ryzen 5 9600X
• 128GB DDR5
• 第二张卡目前只挂在 PCIe 4 x4 上，带宽成了主要瓶颈

他在尝试的思路

• 把 hot experts 放到更快的 GPU 上
• 把 cold / missed experts 放在系统内存里
• 在冷却窗口里把冷专家再交换回 GPU
• 参考了 vulkanforge、antirez 的相关工作，并计划采用类似的自定义量化方案

目前测试结果

• 在 DFlash 下，最好情况下大约能到 80 tok/s
• 他的目标是至少稳定在 60 tok/s 左右

这是一个很典型的 AI 基础设施实战帖，核心价值在于多 GPU 布局、带宽瓶颈和推理引擎工程细节。

原文链接 →

「Infra」频道最新

• 多智能体系统可能把笔记本内存和 CPU 吃满 — zephyr_z9 · 2026-08-04
• Doota Mail 自托管改成 fork、加密钥再跑 CI — samgoodwin89 · 2026-08-04
• 普通电脑上做视频生成，FL2VA 20B 是默认首选 — cocktailpeanut · 2026-08-04
• Wan2GP 推出 AMD GPU 一键本地生成启动器 — cocktailpeanut · 2026-08-04
• Pinokio 上线 AMD 版 Wan2GP 一键启动器 — cocktailpeanut · 2026-08-04
• WanGP 让 MiniMax H3 在 5GB 显存 PC 上跑视频生成 — cocktailpeanut · 2026-08-04

更多「Infra」频道 AI 资讯 →