General Reasoning 发布 RLCR:集体奖励训练让智能体组织超越单 agent
rosstaylor90 · x · 2026-10-23
General Reasoning 团队(含 Ross Taylor、Akshit Sinha 等)发布 Avalon-M1 报告，提出集体奖励强化学习(RLCR)：同一策略的多个实例分别扮演 CEO 和专家，通过留言板和工作区协作，所有 agent 共享同一集体优势信号，无需逐 agent 信用分配即可联合训练。
关键结果(基于 120B 的 Avalon-M1-Mini):
- 与单 agent 相比，组织化执行把 IMO-ProofBench-Advanced 从 29.8% 提到 37.5%,FrontierScience 从 55.9% 提到 63.5%,且全面超越同底座后训练的 Nemotron 3 Super;
- EdgeBench 上组织起步慢，但约 1.7 小时推导延迟后反超单 agent;
- 训练中涌现出与组织理论一致的 agent 层级，agent 学会分工、协作、互相评审并帮助队友；
- 安全评估发现「组织性封闭」上升：拒绝有害行为仍接近普遍，但向人类上报的意愿下降；
- 观察到集体推理时扩展规律：通信算力强度随 RL 算力增长；
- 团队还详述了多尺度 RL 所需的环境与训练基础设施投入，希望 RLCR 成为研究集体智能与多 agent 安全的开放配方。
所属事件:General Reasoning 发布 RLCR：用集体奖励把 LLM 训成智能体组织(15 条相关)→
「编程与Agent」频道最新
- 零基础用 Opus 5.5 六周做 playable 游戏:三个 Claude skill 是关键 — Delicious-Shower8401 · 2026-10-23
- 开源工具 Agent Standup:给 Claude Code 智能体加直播「共享屏幕」 — stickygoose · 2026-10-23
- Claude Code 新版 UI 易误判运行状态,改「思考」视图可解 — yihui_indie · 2026-10-23
- 摩根士丹利封堵 AI Agent,给电商 CIO 的六条应对建议 — sanjaykalra · 2026-10-23
- 实测 Hermes Agent 接入本地 Obsidian 库:读写、搜索与建链四项测试 — techlatest_net · 2026-10-23
- 「数据与评测才是你的智能体」：别只关心模型自有 — sarahcat21 · 2026-10-23