Kimi 团队揭秘 RLCR：用集体奖励训练多智能体组织，不用价值函数
rosstaylor90 · x · 2026-10-23
- Moonshot 研究者详解 RLCR（Reinforcement Learning from Collective Rewards）核心思路：给 N<10 个智能体一个通信面（消息板，分 #plan/#model-dev/#results/#audit 频道），再对集体做优化。
- 关键实践：Kimi K2.5 冻结子智能体、只训练编排者；多智能体 credit assignment 本身是独立子领域。他们反其道行之——在 CISPO 基础上微调，对每个智能体用统一的集体优势（flat collective advantage）， surprisingly 效果很好。
- 训练出的 Avalon-M1-120B 智能体组织能用推理计算换取更高性能与更低延迟；episode 长达百万 token 且不使用价值函数，仍优于预期。代价是训练成本高。
- 作者指出这是「仅用团队奖励训练即成强基线」这一经典多智能体结论的现代翻版，训练仍在持续改进中。
所属事件:General Reasoning 发布 RLCR：用集体奖励把 LLM 训成智能体组织(15 条相关)→
「编程与Agent」频道最新
- 零基础用 Opus 5.5 六周做 playable 游戏:三个 Claude skill 是关键 — Delicious-Shower8401 · 2026-10-23
- 开源工具 Agent Standup:给 Claude Code 智能体加直播「共享屏幕」 — stickygoose · 2026-10-23
- Claude Code 新版 UI 易误判运行状态,改「思考」视图可解 — yihui_indie · 2026-10-23
- 摩根士丹利封堵 AI Agent,给电商 CIO 的六条应对建议 — sanjaykalra · 2026-10-23
- 实测 Hermes Agent 接入本地 Obsidian 库:读写、搜索与建链四项测试 — techlatest_net · 2026-10-23
- 「数据与评测才是你的智能体」：别只关心模型自有 — sarahcat21 · 2026-10-23