SPADE 自适应环境自训练,30B 模型分数反超固定 RL
_AndrewZhao · x · 2026-08-22
SPADE 是一种新的自博弈强化学习框架，旨在解决智能体训练依赖固定任务池导致学习饱和的问题。
核心机制：
- 同一个 LLM 扮演两个角色：环境设计器和推理智能体。
- 环境设计器编写完整的、可执行的多轮环境代码（类似 OpenAI Gym 接口），作为训练场。
- 推理智能体在其中学习行动，通过“基于提示的遗憾”来优化，使环境设计器能够不断生成刚好处于智能体能力边界的任务，保持挑战性。
实验结果：
- 在 30B 参数规模下，SPADE 在数学、科学、代码和推理等 8 个基准测试中，平均比最强的固定环境基线高出 5.3 分。
- 在工具使用方面，BFCL-v4 多轮任务提升 5.7 分，ACEBench-A 提升 13.9 分。
所属事件:SPADE：单模型自博弈编写训练环境实现自我改进(13 条相关)→
「编程与Agent」频道最新
- 「建筑师 vs 园丁」：开发者质疑 AI 编程前的 plan-maxxing 风潮 — nptacek · 2026-10-16
- OpenRouter 发布 Armor 测试版:在 Agent 执行前拦截违规工具调用 — dfinke · 2026-10-16
- Meta 开源编程模型 Muse Spark Open 上线 Modal，主攻长程智能体任务 — AAAzzam · 2026-10-16
- Google SRE 书十周年推第二版，新增智能体时代 SRE 实践指南 — RealGeneKim · 2026-10-16
- GRPO 后训练会令分布坍缩,长程 Agent 时代反成隐患 — zsakib_ · 2026-10-16
- 开发者用 Claude 逐帧写代码，免费给创业公司画吉祥物 GIF — jeremy_goldberg · 2026-10-16