FDE-Gym 基准:顶级 Agent 仅完整解决 95 个真实交付任务中的 14 个
dair_ai · x · 2026-10-16
新基准 FDE-Gym 将 Agent 置于「前置部署工程师(FDE)」角色测试,任务全部来自真实交付项目,覆盖能源、医疗、机器人、金融等 18 个行业的 20 个真实场景改编的 95 个任务,配套脚本化干系人、生产级系统与 10000+ 小时专家投入。计分以「改善客户自身成功指标」为准,并对多余消息、试运行和等待时间扣分。
关键发现:
- 7 家厂商 13 种配置中,最佳均分仅 0.56;完全解决的只有 95 个任务中的 14 个(Opus 5.5、Sonnet 4.5、GPT-6 Astraa 居前)。
- 主要失败模式是遗漏客户未明说的隐性约束;即使在最佳配置收集齐全部关键信息的 23 个任务里,也只有 10 个达到 0.8 分以上。
- 随任务指令信息量减少(L0→L3),各模型得分急剧下滑,显现「悬崖效应」。
所属事件:FDE-Gym 新基准：前沿 AI Agent 在真实交付任务中表现惨淡(2 条相关)→
「编程与Agent」频道最新
- 独立开发者 vibe coding 照片清理 App:零广告靠 Reddit 获客 4K 下载 — PrajwalTomar_ · 2026-10-16
- 独立开发者造 ArkenOS：数百个 agent 组队自动跑研究实验 — _AustinCalvert_ · 2026-10-16
- 实测官方 MCP Registry 全部远程服务器：56% 无需任何密钥即可用 — Pristine_Baby_1334 · 2026-10-16
- 用 AGY Rules 与 PreInvocation Hook 实现多聊天目录隔离 — bibryam · 2026-10-16
- 用 Gemini 玩 Minecraft 模组:游戏内变身任意蜘蛛侠 — zacharynado · 2026-10-16
- 截图丢进 tldraw 标注问题再喂给 Claude:UI 改进工作流 — max__drake · 2026-10-16