Agentic RL 数据缩放律论文：环境多样性最重要，预算分配可省 1.7 倍算力
omarsar0 · x · 2026-10-20
MBZUAI、McGill 等机构的论文《How Data Scales in Agentic Reinforcement Learning》指出，预训练缩放律把数据当一维 token 数，但 agentic RL 的数据实际由任务、环境、轨迹三个独立生成、成本迥异的轴构成，核心问题应是「合成预算花在哪个轴」。
关键发现
- 跨模型规模、模型家族、领域(数学代码、SWE、web、UI/工具)以及 PPO/GRPO 两种算法，缩放指数排序一致：环境 > 任务 > 轨迹。
- 环境优势主要来自「世界多样性」（真正不同的设定），同一世界内变化结构的效果约等于加任务。
- 用统一货币拟合各合成方法，得到每轴的折扣因子与训练开始崩溃的「合成:真实」临界比例，不同轴之间相差一个数量级。
- 据此推出 Chinchilla 式算力最优预算分配配方，并在 held-out 规模验证：相比主流的「堆轨迹」做法最高可带来 1.7 倍算力效率提升。
「研究」频道最新
- Mirror 让 Minecraft 角色无奖励打铁镐:视频模型当规划器的新范式 — vincesitzmann · 2026-10-20
- 单卡一小时训练降尺度模型，把法国气温预报从 28km 提到 5.5km — yb2698 · 2026-10-20
- 新论文提出进度感知蒸馏，缓解小模型智能体推理停滞 — Yuanpu Cao · 2026-10-20
- HERA：让 Agent 框架与环境共同进化，学会何时弃答 — UW · 2026-10-20
- HouseholdBench:LLM 预测家庭经济行为,最佳模型降误差 12.2% 仍不敌 GBDT — daveholtz · 2026-10-20
- Mirror 作者预言「arm-farm 复兴」:视频模型让机器人学习经验变得可行 — vincesitzmann · 2026-10-20