TRIAGE 方法修复 NVFP4 量化 RL 训练不稳,吞吐达 BF16 的 2.3 倍

InfiX-ai · hf · 2026-10-08

InfiX-ai 发布论文,解决低精度(NVFP4,权重与激活均为 4-bit)强化学习训练不稳定的根本问题:

问题:learner 与 sampler 执行精度不一致(mismatch)会破坏策略梯度优化,单看 mismatch 幅度无法判断哪些更新有害。
发现:作者刻画了 mismatch 与策略梯度方向的交互,区分「局部放大」与「收缩」两类更新贡献;原生 NVFP4 训练早期就出现偏向负优势、负 gap 的放大更新,其尾部 token 集中在少数响应片段后扩散至全局。
方法:TRIAGE 做 segment 级诊断,有选择地再平衡策略梯度更新,并对残余严重 mismatch 做有界修复,同时保持 sampler 和 learner 两端 W4A4 原生前向。
结果:在 Qwen3-4B 与 Qwen3-30B-A3B 上全程稳定训练,五个数学推理 benchmark 达到全精度水平,rollout 吞吐较 BF16 最高提升 2.3 倍。

「Infra」频道最新