DeepSeek-V4 Flash RL 跑在 AMD MI355X
ying11231 · x · 2026-07-11
lmsysorg 发布博客，介绍如何把 **DeepSeek-V4 Flash RL** 的训练与 rollout 端到端跑在 **AMD Instinct MI355X** GPU 上，并使用 **Miles** 和 **ROCm** 完成对齐。 文中给出的关键结果包括： - 在四个 MI355X 节点上验证了 **100+** 步优化 - train-rollout 的 log-prob gap 约束在 **0.09** 左右 - **AIME-2024** 上，pass@1 从 **0.39 提升到 0.49**，pass@8 从 **0.53 提升到 0.67** - 使用 **FP8 rollout + BF16 actor**，并支持 datatype-aware online weight updates - 在 ROCm 上实现了稳定的 **TP1 / PP4 / EP4** 布局，没有 collective stalls - 还展示了 hybrid attention、mHC mixing 和 hash-routed MoE 在训练与推理两端的一致性 整体来看，这是一篇偏工程实现的基础设施文章，重点是多 GPU 上的训练/推理栈、数值格式和并行布局如何协同工作。