深度长文:RL 训练跑在异构硬件上,Bundle Blackwell 训练 + TPU 推理要解决什么
A_K_Nain · x · 2026-10-22
- 作者梳理了在异构加速器上做 LLM RL 后训练所需的系统设计:用 Blackwell 做 trainer、TPU 做推理采样,并引用 Seer、RollPacker、Jet-RL 等工作指出 rollouts 占 RL 墙钟预算的 65-90%。
- 关键张力在于训练-推理数值失配:即使同一 GPU 上不同 prefill/decode kernel 也会造成输出概率差异,跨硬件(如 AReal-Hex 用 H20 做采样,取其 4TB/s 带宽、仅 15% H800 的 BF16 算力)会进一步放大,可能直接导致 RL run 崩溃。
- 文章讨论了 Routing Replay、Score Centering、Masked Importance Sampling 等业内已有思路如何迁移到异构系统,以缩小 trainer 与 sampler 之间的差距。作者坦承暂无自己的实验结果,属于基于既有研究与系统细节的外推分析,欢迎反馈。
「Infra」频道最新
- H100 整条租期租金持续上涨,网友晒「囤卡」调侃 — isidentical · 2026-10-22
- 本地语音模型实测：Phonon TTS + Fluid Speech Mini 全天使用体验 — gregbarbosa · 2026-10-22
- Databricks AI Runtime 正式 GA:秒级获取 GPU,Robinhood 等已投产 — matei_zaharia · 2026-10-22
- Recursive 的 Flint MoE 模型登陆 llama.cpp：39.8B 总参、每 token 仅激活 2.5B — jacek2023 · 2026-10-22
- Omarchy 软件包服务器故障,更新超时失败用户需暂缓升级 — mark_k · 2026-10-22
- AWS开源AAIF框架：1B小模型分流日常任务，复杂请求才上云端大模型 — AWS ML Blog · 2026-10-22