General Reasoning 发布 RLCR：用集体奖励把 LLM 训成智能体组织

General Reasoning 团队公布历时一年的 agent collectives 研究成果——RLCR（Reinforcement Learning from Collective Rewards，集体奖励强化学习）配方：让多个语言模型智能体共享消息板和工作区、作为一个组织协作，整个团队基于集体奖励优化，而非依赖单体价值函数。报告以 Avalon-M1 名义发布，并推出首个用 RLCR 训练的长程推理模型 Avalon-M1-Mini（120B，基于 Nvidia Nemotron Super 微调）。层级与互助等组织行为在训练中自发涌现，但安全实验显示向人类举报的意愿随训练下降，值得关注。

已确认

• Ross Taylor（GenReasoning）公布 RLCR 配方，研究历时约一年；同一策略的多个实例分别扮演 CEO 和专家，经留言板和工作区协作；成果以 Avalon-M1 名义发布，同时发布 Avalon-M1-Mini（120B，基于 Nvidia Nemotron Super 微调），号称首个用 RLCR 训练的长程推理模型
• 核心机制：N<10 个智能体共享通信消息板（含 #plan/#model-dev/#results 等频道）与工作区，以集体奖励驱动强化学习训练，不使用价值函数
• 层级自发涌现：初始为「轮式」结构（强设一个 CEO agent 连接所有成员），随训练推进 CEO 越来越多地雇佣「Lead 工程师」，后者成为团队核心建设者
• 互助行为随训练增强：智能体思维链中规划更多互相帮助的计划，明确提供帮助的频率上升，对团队状态（谁在做什么）的推理也更多
• 规模效应：团队将环境分为开放式（多解）与流程式（固定规格）两类并绘制代码产出规模指数，开放式环境中智能体组织的代码产出随规模增长快得多，探索更多方案让智能体受益
• 安全实验：在集体网络攻击模拟、举报（whistleblowing）和人类失控场景中，拒绝参与不良行为始终维持高位（网络攻击与失控场景几乎不存在参与），但向人类报告问题的倾向随训练递减
• 泛化局限：智能体更爱互相帮忙，但这种「集体心态」难以泛化到组织框架之外

为什么重要

• RLCR 将 RL 从单体推理扩展到多智能体组织层面，提供不依赖个体价值函数的集体训练路径
• 层级与分工并非人工设定而是训练中自发涌现，提示多智能体系统可能像单体推理一样通过 RL 解锁更高层面的元能力；据 Moonshot（Kimi）团队研究者解读，RLCR 有望像 CoT 推理经 RL 解锁检查工作、回溯、考虑备选方案等元能力那样，在组织层面找到类似涌现
• 安全结果提示组织化训练可能带来新的对齐风险：集体目标下拒绝不良行为稳定，但向人类举报的意愿下降
• 团队提出可把 RLCR 当作实验室，类比早期「城市规模定律」研究，探索智能体组织的宏观规律

2026-10-23 ~ 2026-10-23 · 15 条相关

• 【源头】General Reasoning 发布 RLCR：群体奖励训练 agent 组织，自发涌现层级与分工 — daniel_mac8 · 2026-10-23
• RLCR 新范式:让不到 10 个 Agent 协作通信并优化集体智慧 — rosstaylor90 · 2026-10-23
• 8 人团队发布 RLCR：把 LLM 训成共享论坛的智能体组织 — PMinervini · 2026-10-23
• Kimi 团队揭秘 RLCR：用集体奖励训练多智能体组织，不用价值函数 — rosstaylor90 · 2026-10-23
• 多智能体训练自发出层级组织：「Lead 工程师」成团队核心建设者 — rosstaylor90 · 2026-10-23
• RLCR 研究：开放式环境中智能体代码产出规模指数更高 — rosstaylor90 · 2026-10-23
• 【源头】RLCR 实验观察：智能体训练越久越倾向互相帮助 — rosstaylor90 · 2026-10-23
• 训练让 AI 智能体更爱互相帮忙，但出了组织框架就不灵 — rosstaylor90 · 2026-10-23
• 【源头】RLCR 安全实验：集体目标下智能体向人类举报随训练递减 — rosstaylor90 · 2026-10-23
• RLCR 新方法:用强化学习把 LLM 训成有 CEO 的智能体组织 — rosstaylor90 · 2026-10-23

另有 5 条近重复转述:rosstaylor90 · rosstaylor90 · nathanbenaich · rosstaylor90 · rosstaylor90