C-RL 方法细节:用 GRPO 组相对优势消掉留一基线开销
shangbinfeng · x · 2026-10-21
该帖是 Compositional RL(C-RL)工作线程的方法补充:C-RL 在一个活的多 LLM 系统内训练策略——冻结的协作者与协作协议构成环境,系统的最终答案就是奖励信号。
关键工程技巧:留一(LOO)基线在 GRPO 的组相对优势计算中自动相消,因此无需额外 rollout,也不需要协作者的权重,即可用 Shapley 边际贡献训练协作能力。
所属事件:UW×NVIDIA 提出 C-RL：组合式强化学习让 27B 模型成最佳队友(5 条相关)→
「研究」频道最新
- EAGLE-4 投机解码框架开源，支持 SGLang 与 vLLM — testingcatalog · 2026-10-21
- Epoch 用自家真实工作测六大前沿模型：明确任务可靠,开放任务仍无法自动化 — dl_weekly · 2026-10-21
- 自写文章被标 AI、AI 文反判人类，实测揭露检测器不可靠 — CommonExplanation711 · 2026-10-21
- 曝小团队后训练 Qwen3 27B,GQA 转 MLA 省 8.4 倍 KV 缓存 — ChrisGPT · 2026-10-21
- EAGLE-4 投机解码实测：agentic 编码场景提速最高 5.21 倍 — zhyncs42 · 2026-10-21
- GATOR：从随手拍摄实现生成式 3D 物体重建 — kwangmoo_yi · 2026-10-21