阿里提出 I-SDPO 框架，解决 GRPO 中的退化梯度问题
heghbalz · x · 2026-08-17
阿里巴巴最新论文提出 I-SDPO 框架，旨在解决后训练强化学习（GRPO）中的退化梯度问题。当提示词极难导致整组响应失败时，策略梯度会归零，模型无法学习。虽然自蒸馏能提供 token 级目标，但长期开启会限制模型风格。I-SDPO 通过实例级别的自适应蒸馏来平衡这一点：仅在整组失败时启用特权自蒸馏，一旦有单次成功即刻切换回标准 GRPO。
「研究」频道最新
- 可解释性研究者泼冷水：模拟不了神经元就不算真正解释了它 — nabla_theta · 2026-10-16
- MLP-Splatting 论文开源:用光场原语替代高斯泼溅 — AjdDavison · 2026-10-16
- 四页短文解 subcubic 全对最短路径，借力 Anthropic AI 参与的突破 — gautamcgoel · 2026-10-16
- 浙大等团队发布 ATAS 框架：用世界状态记忆实现一致性长视频生成 — CSProfKGD · 2026-10-16
- 4B 模型加 8K 上下文堆算力反而更差，Hermes 提出上下文推理新思路 — mangahomanga · 2026-10-16
- 微软研究院发布 Magnetar：最快 zkVM，比现有方案快 10-39 倍 — jedisct1 · 2026-10-16