FDE-Gym 基准曝光 AI 交付最后一英里：前沿模型得分最多 0.56
DeepLethe · hf · 2026-10-16
新基准 FDE-Gym（The Last Mile of AI Delivery）用真实客户交付任务评测 AI 智能体，揭示与规范化基准之间的巨大性能差距。
- 任务源自 2024 年以来中国、新加坡、美国的真实交付，覆盖能源、医疗、机器人、物流、电网等 18 个行业
- 构建 20 个场景（含 130+ 有角色设定的人物）、95 个任务、10000+ 小时专家投入；同一世界的不同专家变体代表问题背后不同的事实
- 核心考察：澄清模糊需求、发现未言明的约束，270+ 策略经多轮专家评审校准
- 含 13 个模型配置、L0–L3 四个难度等级。榜上 opus-5.5 以 0.563 居首，sonnet-5.5 为 0.487，gpt-6-astra 0.381；多个模型整体得分为负（如 mistral-small-4 为 -0.322），即交付反而让客户付出额外成本
「编程与Agent」频道最新
- 把 agent 命名为 Ilya,基准成绩竟涨 1.1 个百分点 — daniel_mac8 · 2026-10-16
- Gemini CLI 修复 read_many_files 子串误判,把未请求的图片塞进上下文 — priyanshu1976 · 2026-10-16
- 给 PE 被投公司做医疗计费 AI Agent:先花时间吃透领域再动手 — alex_verem · 2026-10-16
- 曝 OpenAI 暗测内部神秘模型 Aeon：已现身 Codex 桌面版用量面板 — cedric_chee · 2026-10-16
- 用 Codex 17分钟写好 iPhone Duo 抢购程序，41项测试通过 — xiaohu · 2026-10-16
- 多玩家长期记忆产品登顶 BEAM 记忆基准，一条 prompt 即可安装 — CurieuxExplorer · 2026-10-16