哈工大提出 GRPODropout：删掉 12% rollout 反而提升 RL 准确率
kastnerkyle · x · 2026-10-14
哈尔滨工业大学团队在 arXiv 发布论文 GRPODropout: Less is More for Online Reinforcement Learning Rollouts，从数据使用角度缓解 GRPO 的策略熵坍缩问题。
- 核心思路：并非所有 rollout 都对策略更新有正贡献——高概率、正优势的成功 rollout 会加速熵坍缩、削弱探索；在标准更新前有选择地剔除少量此类 rollout，并对保留的优势做概率加权 recentering。
- 理论支撑：将 token 级熵分析扩展到 rollout 层，用局部 KL-proximal 更新模型证明高概率正 rollout 天然主导一阶熵下降；并论证删除 rollout 后必须 recenter 以避免归一化漂移。
- 实验结果：仅用约少 12% 的 rollout 更新，训练集 actor 熵提高 446.1%、held-out 集提高 256.0%，平均准确率较原 GRPO 提升 1.55%，pass@1/pass@32 与推理路径多样性（Vendi、Summary distance）同步改善。
- 方法只改 rollout 使用方式、几乎零额外开销，代码已开源（github.com/hexuandeng/GRPODropout）。
「研究」频道最新
- Agent Sociodrama：用社会动力学诊断并重铸 LLM 智能体团队 — nanyang-technological-university-singapore · 2026-10-14
- 音视频文本三模态分数冲突：NRC 提出受控获取与弃权决策基准 — NRC-CNRC · 2026-10-14
- Google 提出 Harness²：递归自进化 agent 执行框架，最高涨 11.8 分 — google · 2026-10-14
- UltraBERT 重审 BERT 预训练：首次在分类与检索上同时达到 SOTA — Jungwoo Park · 2026-10-14
- 北大等发布 UniForge3D：稀疏无位姿图生成完整 3D 资产达 SOTA — PekingUniversity · 2026-10-14
- Vela：10 万用户真实行为数据当监督信号，用户任务最高涨 11.5 分 — AllSpark-Research · 2026-10-14