研究:单模型强化学习可让 LLM 独立更强、协作更差
shangbinfeng · x · 2026-10-21
shangbinfeng 团队发布 Compositional RL(C-RL) 研究,挑战「单模型排行榜=好协作者」的隐含假设:
- LLM 通常单独训练和评测,但研究发现面向单模型的排行榜并不能预测协作能力:用 Shapley 值(留一法,n+1 次运行而非 2ⁿ)在 5 个模型池 × 12 种协作方法 × 12 个数据集上度量,组合强度与单模型强度相关性极弱(|ρ| ≤ 0.29)
- Solo RL 可能让模型单打更强、协作反而变差——有案例单打 +6.2 分、协作 -3.6 分
- 解法:C-RL 用 GRPO 训练,奖励为模型对多 LLM 系统的 Shapley 边际贡献,把「会合作」当作可训练目标
核心结论:强单打选手不天然是好的团队合作者,协作能力需要专门训练。
所属事件:UW×NVIDIA 提出 C-RL：组合式强化学习让 27B 模型成最佳队友(5 条相关)→
「研究」频道最新
- Epoch 用自家真实工作测六大前沿模型：明确任务可靠,开放任务仍无法自动化 — dl_weekly · 2026-10-21
- 自写文章被标 AI、AI 文反判人类，实测揭露检测器不可靠 — CommonExplanation711 · 2026-10-21
- 曝小团队后训练 Qwen3 27B,GQA 转 MLA 省 8.4 倍 KV 缓存 — ChrisGPT · 2026-10-21
- EAGLE-4 投机解码实测：agentic 编码场景提速最高 5.21 倍 — zhyncs42 · 2026-10-21
- EAGLE-4 发布：投机解码冲上 961.6 tokens/s，代码与仓库开源 — zhyncs42 · 2026-10-21
- GATOR：从随手拍摄实现生成式 3D 物体重建 — kwangmoo_yi · 2026-10-21