UCLA 提出ReSPO:用α-散度核替代clipping,修复RLVR梯度饥饿

ucla-cmllab · hf · 2026-10-09

UCLA CMLL 实验室提出 ReSPO(Reshaped Sequence Policy Optimization),针对 RLVR 中 off-policy 学习的梯度饥饿问题。

问题

• RLVR 常在多次策略更新间复用 rollout,导致当前策略与数据生成策略失配。研究发现 clipped policy optimization 存在符号相关的梯度饥饿:clipping 压制了低重要性权重尾部欠生成的正样本梯度,却放任严重过生成的负样本主导高权重尾部。

方法

• 用从 α-散度变分目标与指数方差控制倾斜推导出的平滑双分支序列级核替代 clipping:正分支为欠生成正样本保留非零梯度权重,负分支抑制严重过生成的负样本。

结果

• 在 dense 与 MoE 版 Qwen3 模型上,ReSPO 加速早期优化、提升最终训练分数,并在 rollout 复用设置下取得更高的留出基准成绩,且能在早期训练中从长正推理轨迹有效学习。

原文链接 →

「研究」频道最新

• BottleCap 发 ThinkingCap 版 Qwen3.8-Flash-Next,思考 token 平均省 38.5% — Thom_Wolf · 2026-10-23
• DLOSAC:用 Delaunay 三角剖分引导的局部优化改进 RANSAC 几何估计 — zhenjun_zhao · 2026-10-23
• 新基准论文：用 3D 基础模型重建地理多样化建筑 — zhenjun_zhao · 2026-10-23
• FineSplat：细粒度图像块前馈 3D 高斯泼溅，重建精度大幅领先 — zhenjun_zhao · 2026-10-23
• ReDT：分辨率解耦视觉几何 Transformer，2K 重建提速 16 倍 — zhenjun_zhao · 2026-10-23
• 因果时空 Mamba：单目视频前馈 4D 重建新框架 — zhenjun_zhao · 2026-10-23

更多「研究」频道 AI 资讯 →