Avalon-M1 用集体奖励 RL 训练 LLM 组建 Agent 组织,平均分 33.5%→45.7%
RobertTLange · x · 2026-10-28
Robert Lange 介绍 GenReasoning 的 Avalon-M1:不是靠外部框架让固定模型协作,而是直接后训练模型学会协调组织。
- 架构:基于 NVIDIA 开源 Nemotron 3 Super(120B 总参、12B 激活),同一共享策略的多份副本分别充当「CEO」和它雇佣的最多 8 名专家,通过共享消息板和工作区协作;CEO 决定团队规模、角色与工具,可随时雇佣或解雇。
- 方法(RLCR,集体奖励强化学习):刻意很小的 SFT 阶段,然后做 RL——组织内每个 token 都获得来自团队整体奖励的相同集体优势,不做逐 agent 的信用分配。训练覆盖 147 个环境、200 万+任务,单轮 episode 可超 5 小时。
- 结果:训练中组织自发涌现出 lead 角色、增加 tester/verifier;在同一基座上对比,Avalon-M1 组织模式把平均分从 33.5%(基座 instruct 版)提到 45.7%,单 agent 模式 42.0%,在 AIME 2026、HLE、DRACO、FrontierScience 等多个基准上均有提升,形成一种新的并行推理时算力形态。
所属事件:Avalon-M1 用集体奖励 RL 训练模型自发组建智能体组织(2 条相关)→
「编程与Agent」频道最新
- 用 Google 开源 ax 编排器在单台 Linode 上跑 agent 群,造出 300 栋建筑 — rakyll · 2026-10-28
- Qwen Code 发布 v0.26.3：记忆抽取、会话工作流等十余项更新 — qwen-code-review-bot · 2026-10-28
- 网友用 Grok Bot 每天自动生成个性化 Hacker News 摘要 — seanmcdonaldxyz · 2026-10-28
- OpenBMB 开源 MiniCPM-OCR:1.3B 解析器搭配 Jev 模型给 OCR 结果打可信分 — omarsar0 · 2026-10-28
- 一人+一个 Grokbot:作者晒出公司内部媒体团队的完整搭建工作流 — VibeMarketer_ · 2026-10-28
- 作者公开 AI 游戏与视频全套提示词：7200 帧动画加 builder-critic 循环 — prasenx · 2026-10-28