微软发布 ProgramDistill:1975 个可验证行为考倒编码智能体
MicrosoftResearch · hf · 2026-09-17
微软研究院在 HF 发布编码智能体新基准 ProgramDistill,评估 agent 从可运行的参考应用中通过交互推断功能并补全不完整应用的能力,而非按 issue/指令实现行为。
构建方法:mine-craft-patch 流水线把应用分解为不同粒度的功能,通过 gold patch 播放可执行行为;在 26 个应用上自动发现 1,975 个可回放验证的行为,无需人工构建 4,063 个任务。
主要发现:
- 9 个前沿编码智能体中,GPT-6 Astra 与 Claude Opus 5 在完整应用重建的累积工作流上分别取得 49.2% 和 28.8% 的成功率
- 部分应用重建中,随恢复深度从 1 增至 8,成功率从 100%/96% 骤降至 64.0%/32%
该基准难度可控、可扩展,也可作为未来课程式训练的基础。
「编程与Agent」频道最新
- Cohere Labs 智能体团队构建方法降本 70%，兼顾效率 — Cohere_Labs · 2026-11-02
- Ыég especial: 长文析 AI 价值在效率之后：Infra 必然过剩，应用层基建正当时 — yangyi · 2026-11-02
- 开源 offprompt：MCP 服务器让 Agent 请求密钥却永远看不到明文 — Vast_Ad_7338 · 2026-11-02
- Reddit 讨论：把 OOP 公有方法直接变成 AI Agent 可调用的工具 — out_of_nowhere__ · 2026-11-02
- DeepSeek 设计文档：一人只能盯 3-5 个 agent 会话，瓶颈不再是模型 — heyshrutimishra · 2026-11-02
- 资深工程师谈 AI 编码：软件工程功底决定 agent 输出质量 — bendee983 · 2026-11-02