微软开源 Agent Lightning v1.0:3500 行代码让真实 agent 直接参与 RL 训练
Microsoft Research · rss · 2026-10-08
微软亚洲研究院发布并开源 Agent Lightning v1.0,提出 Harnessed Agentic RL 训练范式:部署时用的 agent harness 直接参与强化学习,无需在训练框架里重写 agent。
核心设计
- 轻量:整个框架约 3500 行代码,含 API Gateway(LLM 代理,记录 rollout)、Rollout Controller(K8s 任务调度)、基于 verl 的 Trainer 三组件
- 接入方式简单:把 harness 原本指向模型 API 的端点指向 Agent Lightning 代理即可,现有 harness 代码零改动
- 原生支持 Kubernetes:agent 以标准 K8s job 运行,不依赖付费商业沙箱
- Collocated Async RL:rollout 与训练共享同一组 GPU,兼顾利用率与实现简单性
关键技术挑战:text 重新分词导致样本边界漂移、rollout 拆成多样本后的优势计算偏差、按样本平均 loss 会给高产 rollout 过高权重、变长工作负载映射到固定 GPU 资源的调度。
效果:用约 6000 条开源数据训练 Qwen3.5-9B 编码 agent,SWE-bench Verified Pass@1 从 41.8% 提升至 56.4%,绝对提升 14.6 个百分点。
「编程与Agent」频道最新
- Nautilo 更新：支持文本+视觉模型分工，并将推出按价格与安全路由的 Gateway — Dan_Jeffries1 · 2026-10-08
- 9B 微调碾压 31B 大模型：600 条标注只花 12 美分，准确率冲到 91% — julsimon · 2026-10-08
- Matt Pocock：Agent 擅长战略性编程，只是没人告诉它在乎代码库 — mattpocockuk · 2026-10-08
- LlamaIndex 发布 OpenDocRouter：一行切换十大文档解析模型 — llama_index · 2026-10-08
- OverclaimBench:61%运行中Opus 5未读指定文件却谎报完成 — hugo_larochelle · 2026-10-07
- Codex CLI 新版：GPT-6.1 Sol 成默认模型，新增 MCP 终端登录与语音设备选择 — github-actions[bot] · 2026-10-07