混合精度混合加速器跑 RL 训练更省成本且稳定收敛

nanjiangwill 与 Modal 合作实验提出：用不同精度（MXFP8、MXFP4、NVFP4）或不同代际、不同厂商加速器上的采样器执行 RL rollout，本质上是一种 off-policy 操作，配合 off-policy 校正可以稳定收敛。Modal 指出传统做法依赖固定同质、最新代加速器集群，虽然保证数值稳定与吞吐，却丢弃了为其他硬件做的推理优化、限制可用容量且成本高昂；混合异构方案可显著降低成本并保持训练稳定。

2026-10-14 ~ 2026-10-14 · 2 条相关