HEELO 框架让 Terminal-Bench 解题率从 37.3% 升至 55.5%

Haibo Jin · hf · 2026-11-09

论文提出 agent-native primitives 与 HEELO 框架，解决智能体「最后一公里」问题：模型能接触到资源却不会正确使用它。

• 核心思路：给每类资源配上驻留 LLM 的可复用原语（primitive），由原语在上下文中直接完成任务并与其他原语通信；HEELO 按任务组合原语成图、用环境证据验证、失败时修订相关原语。
• 成绩：Dev-Primitives 将 Codex 在 Terminal-Bench 4.0 的解决率从 37.3% 提到 55.5%；Harness Primitives 把 Terminal-Bench 2.0 Pass@1 从 60.0% 提到 72.2%；ToolBench 从 55.8% 升至 75.1%；GAIA-Text-103 从 45.6% 升至 58.3%。
• 真实任务：在 heelo.dev 的 46 个现实任务上，Claude Code 和 Codex 单独各完成 9 个，接 HEELO（经 MCP server）后分别完成 39 和 35 个，单任务时间省 1.9-2.3 倍、成本降 1.55 倍。
• 配图显示 HEELO 在全部 26 个基准对比中领先，且每个原语族都有可观的效率收益。

原文链接 →

「编程与Agent」频道最新

• Simon Willison 用 details/summary 折叠 AI 写的 PR 描述长文 — Simon Willison · 2026-11-09
• AI Agent 一个周末修完 41 个报告问题中的 40 个 — julianweisser · 2026-11-09
• NVIDIA 研究:得当时机的强弱模型交接可大幅省 Agent 成本 — nvidia · 2026-11-09
• FrontierCS 榜单更新：Claude Sonnet 5.5 在 50% 任务上超参考解 — ajratner · 2026-11-09
• 「会技术」新定义：有耐心反复问 Claude 直到搞懂为止 — brandon_galang · 2026-11-09
• Together AI:榜单只能选入围名单,真正该测的是你自己的流量 — togethercompute · 2026-11-09

更多「编程与Agent」频道 AI 资讯 →