微软 OpenForgeRL：在真实部署 harness 中训练智能体
dair_ai · x · 2026-07-25
微软研究员及合作者提出 OpenForgeRL，目标是在智能体真实部署所处的 harness 里直接训练它们。
- 现有智能体通常运行在 Claude Code、Codex、OpenClaw 这类复杂 harness 中，但多数 RL 训练却在被简化过的环境里进行，和真实部署存在明显偏差。
- OpenForgeRL 用轻量代理来承接 harness 的模型调用，并把这些调用记录成训练数据接入标准 RL 框架；同时用 Kubernetes orchestrator 把每次 rollout 放进独立容器。
- 这样可以在真实 harness 中、以可扩展方式训练，降低“训练—部署不一致”。
- 论文给出的结果包括：WebVoyager 72.3、Online-Mind2Web 63.0、OSWorld-Verified 37.7，在同等规模开源基线中表现更强，部分任务甚至接近更大模型。
- 论文还指出，harness 本身就是重要训练变量：不同 harness 难度差异很大；RL 能提升自检和多步完成能力，但错误恢复仍然薄弱。
所属事件:微软开源OpenForgeRL实现端到端训练(4 条相关)→
「编程与Agent」频道最新
- 开发者正训练「看门模型」：专门拦截提示注入与记忆投毒 — gnukeith · 2026-10-27
- Mirendil 发布首个模型 Fern：上下文窗口达 1000 万 token — shayan_ · 2026-10-27
- 旧金山 Code Engineering 大会聚焦从编码 agent 到软件工厂 — LangChain · 2026-10-27
- 用 Claude Code 当 iPhone 取证器:挖出「已删」照片的 30 天隐藏副本 — alex_verem · 2026-10-27
- 用 Claude Code 审计 iPhone 备份，揪出被删照片的全部藏身处 — alex_verem · 2026-10-27
- Yuchen Jin：手机不是移动 IDE，而是 agent 舰队的控制台 — Yuchenj_UW · 2026-10-27