腾讯混元发布长链路Agent基准
Tencent-Hunyuan · hf · 2026-07-13
腾讯混元发布 Long-Horizon-Terminal-Bench，用于测试 agent 在长链路终端任务上的能力。
这个 benchmark 的设计
- 共 46 个长时任务，覆盖 9 类场景
- 包括：实验复现、软件工程、多模态分析、互动游戏、科学计算等
- 采用 Terminal-Bench 风格，但把任务拆成更细的子步骤，提供密集中间奖励和部分得分
为什么重要
- 任务通常需要数百轮 episode，执行时间从几十分钟到数小时
- 更考验长期规划、长上下文管理、迭代调试，而不是一次性答题
- 平均每个任务消耗 990 万 token、约 231 个 episode、85.3 分钟
结果
- 最强测试模型在部分奖励阈值 0.95 下仅 15.2% pass@1
- 在完全奖励阈值 1.0 下为 10.9%
- 所有模型平均通过率分别只有 4.3% 和 1.7%
作者同时分析了失败模式，并开放了该 benchmark 供后续研究。
所属事件:腾讯混元发布长程终端基准，前沿模型表现不佳(6 条相关)→
「编程与Agent」频道最新
- Agent Field Kit 上线：为生产级 Agent 提供 $29 起的安全应急手册 — alvelda · 2026-10-27
- 用去审查版 GLM 绕开 Claude 拒答： SS7 威胁建模工作流 — l4rz · 2026-10-27
- Cloudflare Durable Objects 被验证为 AI agent 高并发场景优选架构 — tristanbob · 2026-10-27
- GitHub Next 发布 Chopin:实时多人的 Agent 协作规划环境原型 — max__drake · 2026-10-27
- TMLR 论文：更强推理不等于更充分披露，Agent 思考越多未必告知越全 — SharonYixuanLi · 2026-10-27
- 作者称全由 LLM 编写的 Rust 库 bbtree 实测：快是真的，省内存翻车 — lmoroney · 2026-10-27