TMax 一作开讲:训练终端 Agent 的三套数据配方对比与争论
Shahules786 · x · 2026-11-03
Vibrant Labs 组织的 RL Paper Club 邀请 TMax 共同一作 Hamish Ivison,对比三套训练终端 agent 的数据配方:
- TMax(开放基线):14,600 个按九个维度采样的合成终端环境,各生成 Dockerfile、验证器与说明,用 outcome-only RL 把 Qwen 3.5 9B 在 Terminal-Bench 2.0 上做到 27%;只检查镜像能否构建,靠 RL 过滤坏任务。
- Terminal-World:从人写的 agent skills 出发生成任务、沙箱、验证器与教师指南,逐一验证产物,仅用 SFT 训练。
- T1:大规模 RL 端,122B MoE 用 PPO 训练 300+ 轮工具调用,奖励按通过的验证器检查数量而非二元 pass/fail。
讨论焦点:任务从哪来、RL 过滤能否替代验证、奖励粒度多细才够、SFT vs RL、合成配方能否超越生成它的模型。
「编程与Agent」频道最新
- Trajectory 平台发布:几个 agent prompt 即可后训练万亿参数模型 — simonguozirui · 2026-11-03
- Garry Tan 转发：中小公司正用 Agent 原生工具重建整个 GTM 技术栈 — garrytan · 2026-11-03
- 把 Claude Code 压缩阈值降到 400K,单请求成本实测降 43% — Awkward-Let-4628 · 2026-11-03
- Capy 0.7.0 上线 Captains 编排,YC 主席称问题修复效率一夜提升 5 倍 — garrytan · 2026-11-03
- OpenAI 自研 Pando Git 后端：push 延迟降 80%，日服务近 1PB 数据 — OpenAIDevs · 2026-11-03
- Uber 开源思路详解 MCP Gateway：统一网关管住全公司 Agent 接入 — adnan_hashmi · 2026-11-03