YCombinator 支持的 CoArena 发布:众包计算机使用 Agent 竞技场
ycombinator · x · 2026-08-23
Coasty 推出 CoArena,号称最大的众包 Computer-Use 基准,由 Y Combinator 支持。
静态基准发布后容易泄入训练数据,分数上涨而能力不变;而竞技场形式不会饱和——每场对决都是真实用户提交的真实任务,两个前沿模型在相同沙箱中并排执行,每一步点击、截图都被记录,由人类盲评判定胜负,甚至可下钻到单步评判。
已有数据揭示:
- 仅约 66% 的 agent 运行能完成任务,三分之一的运行在任何分数产生前就已失败
- 相同任务下,最强前沿 agent 完成率约 87%,最差的仅 42%
排行榜已上线,用户可观看对决、参与盲评、提交自己的任务。
所属事件:CoArena发布:YC支持的众包Computer-Use基准抗数据泄露(2 条相关)→
「编程与Agent」频道最新
- 数据说话:路由和安全分类用决策模型,中位速度快 7-8 倍 — randal_olson · 2026-10-16
- Temporal Serverless Workers 登陆 Cloud Run:按任务队列自动伸缩、可缩至零 — rseroter · 2026-10-16
- Meta 超智能实验室 200+ 直接汇报,扁平组织移植到 AI Agent 设计 — peterjliu · 2026-10-16
- LangChain CEO:最有趣的 agent harness 工作在 harness 与基建交界处 — hwchase17 · 2026-10-16
- 多智能体论文 GitSwarm:用 Git 仓库做持久记忆,一次跑通 IMOProofBench 全部 30 题 — anirudhg9119 · 2026-10-16
- 实测 Gemini 4 Argon:速度远超 Opus 5.5,但幻觉多且贵 — prasenx · 2026-10-16