Modal 工程师长文梳理 RL 基建一年进展:后验纠错正胜过精确匹配

charles_irl · x · 2026-10-14

Modal 的 Nan Jiang 发表 RL 系统综述长文,被 David Bellamy 评价为对过去一年 RL 基础设施思想的最佳总结(仅缺 weight sync 一节)。核心论点:trainer-inference 不匹配的后验纠错方案(TITO、top-p mask replay 等)正在全面胜出,而 R3、确定性 kernel、精度匹配、近零 staleness 乃至异构加速器匹配等「精确匹配」方法因代价太大逐渐退场。Bellamy 进一步追问:在跨数据中心、异构芯片的多集群 RL 场景下,weight delta 同步能否奏效,top-p mask replay 是否也会被淘汰。