NYU 团队开源 Outerloop：AI 智能体自主做实验，77% 训练步数逼近目标
mengyer · x · 2026-11-12
NYU CDS 助理教授 Mengye Ren 团队发布开源自主科研系统 Outerloop：多个 AI 智能体接入你的代码仓库和计算集群，自主提出改进想法、跑实验、用统一基准对比验证，只有当基准确实提升时才以 Pull Request 的形式合入，负面尝试也会被记录。
- 工作流：propose → experiment（Slurm 集群并行跑）→ measure（同种子对比基线）→ verify（校验器把关）→ record
- 实测 gpt-speedrun 任务：9472 步降到 8640 步（-8.8%），82 次尝试、770 GPU 小时、4 个智能体、0 次人工干预
- 配套预印本研究发现：多个已发表的 autoresearch 系统换种子重跑后收益缩水，部分收益来自「运气好的一轮」；自我打分的收益同样缩水，而经外部审核认可的收益与审计一致
项目同时提供 GitHub、PyPI、论文与社区入口。
「编程与Agent」频道最新
- 微软工程实践:LLM 提议排期,代码负责验证与兜底 — WirelessLife · 2026-11-12
- 开发者用积木式脚本给街机游戏接 AI 对手：开发易设计难 — ezshine · 2026-11-12
- Gradient Labs 推 Conversations API：让 AI 客服 agent 无头化嵌入银行后端 — neal_lathia · 2026-11-12
- Microsoft Agent Framework for Go 推 agent harness，免重复配置 — adnan_hashmi · 2026-11-12
- 开发者自制 Kimi K3.1 Pro 编码微调数据集，LFM3 版下载量意外爆棚 — alexcovo_eth · 2026-11-12
- 开源 fabric-planning-skill：用 Copilot skill 管理 Microsoft Fabric 计划 — adnan_hashmi · 2026-11-12