Agent Arena 发布:用数百万真实长程任务为模型排座次
arena · x · 2026-09-11
Agent Arena 上线了一个基于真实世界的 agent 性能排行榜:用数百万个长程 agentic 任务评测模型,模型可调用网页搜索、文件系统和终端工具,完成写代码、做幻灯片、网络调研、建应用、分析文档等复杂工作流。
方法论上采用因果追踪(causal tracing),衡量模型相对平均模型的净改进幅度,并给出 Pareto 前沿视图以对比性能与成本。
所属事件:Agent Arena 发布：数百万真实长程任务评测模型智能体能力(2 条相关)→
「编程与Agent」频道最新
- Will DePue 呼应 OpenAI 加 API 级能力：让多智能体一次并行分发上千个小模型调用 — willdepue · 2026-10-28
- DeckWerk 新版获早期用户好评：连续数周用于真实演讲 — vincesitzmann · 2026-10-28
- Opus 5.5 剪视频可替初级剪辑师，资深剪辑师日产出翻 5 倍 — dotey · 2026-10-28
- 软件栈正为Agent重构:开发者站点、浏览器乃至编程语言都在agent-first — mobileraj · 2026-10-28
- HABIT-Bench:八种记忆系统测用户习惯推断,最佳仅33.61% — SJTU · 2026-10-28
- 「钢琴测试」思想实验：你敢坐在形式化验证过的代码下吗 — moyix · 2026-10-28