AI 重写自身评测框架八天:递归自我改进的首个证据?
Machine Learning Street Talk · rss · 2026-09-27
Machine Learning Street Talk 访谈 Weco 联合创始人 Zhengyao Jiang,讨论 AIDE² 实验:让 AI coding agent 在底层模型固定的情况下,连续八天重写另一个 agent 的 harness(代码、prompt 与工具),报告称收益相当于两年人类工程。
关键讨论点:
- AIDE 85 生成的代码:被称为「有用的意大利面代码」,评估其改动的实际价值困难
- held-out 评测:如何证明收益不是 reward hacking 是核心难题,检测 reward hacking 本身也很困难
- 递归自我改进四层级:Jiang 提出 Weco 的分级框架,并与 AlphaEvolve、Darwin Gödel Machine 对比
- 局限同样重要:Jiang 明确表示实验并未证明系统「成为更好的改进者」
- 开放式搜索:收尾讨论 Parameter Golf 与人类设计的原语空间——当 agent 在人设计的空间内搜索时,下一个有用想法从何而来
「编程与Agent」频道最新
- Instructor 发起 RFC:用 Pydantic 定义类型化决策模型并输出概率 — jxnlco · 2026-09-27
- Matt Pocock 用 AI 动态分镜预演课程录制,提前暴露拍摄问题 — mattpocockuk · 2026-09-27
- Mastra 为 Turso 数据库推出原生文件存储适配器 — glcst · 2026-09-27
- Codex 新侧边栏 UI 获赞:更接近原生 Apple 应用质感 — jxnlco · 2026-09-27
- 把应用 span、Sentry 错误与 LLM 调合并进同一条 trace — dank_as_fuck_ · 2026-09-27
- AI 编程 agent 多次 Docker 逃逸,开发者被迫改用 VM 隔离 — davidcrawshaw · 2026-09-27