RBA 让 LLaVA-OneVision-2 训练无损提速 3 倍，已合入主仓库

liuziwei7 · x · 2026-11-10

团队用 RBA 对知名开源多模态项目 LLaVA-OneVision-2 的训练做了全自动优化，实现 3 倍无损加速：8×Blackwell 上一个完整 epoch 从 9.64 小时降到 3.19 小时，loss 曲线与原版一致。

配图补充数据：4×Hopper 80GB 预设下 21.94 小时降至 9.84 小时（2.2 倍），MFU 从 11.6% 提升到 45.5%（Blackwell）、22.1% 到 45.5%（Hopper），eval loss 与原版几乎相同；验证覆盖 2 节点×8 GPU 的多机启动与负载均衡，TP 2 / PP 4 两种预设均正常训练。成果已通过 PR #205 合入 LLaVA-OneVision-2 主仓库。