组采样强化学习技巧：小 K 过滤简单题，全错组持续采样

一篇论文解读线程讨论组采样式 RL 训练的采样组大小问题：K=32 时简单 prompt 只要有回答出错就会留在批次里，导致批次被「污染」；而保持较小的 K（如 4）可快速过滤简单题、节省算力。对于全错的难题组，则以概率持续采样直到出现正确答案，失败样本汇入大组，使稀有正样本的优势接近 1 而非被封顶。作者还设想了视觉生成中的等价难题，如「戴红色贝雷帽的犰狳」这类稀有概念组合。

2026-10-28 ~ 2026-10-28 · 3 条相关