YCombinator 支持的 CoArena 发布:众包计算机使用 Agent 竞技场
ycombinator · x · 2026-08-23
Coasty 推出 CoArena,号称最大的众包 Computer-Use 基准,由 Y Combinator 支持。
静态基准发布后容易泄入训练数据,分数上涨而能力不变;而竞技场形式不会饱和——每场对决都是真实用户提交的真实任务,两个前沿模型在相同沙箱中并排执行,每一步点击、截图都被记录,由人类盲评判定胜负,甚至可下钻到单步评判。
已有数据揭示:
- 仅约 66% 的 agent 运行能完成任务,三分之一的运行在任何分数产生前就已失败
- 相同任务下,最强前沿 agent 完成率约 87%,最差的仅 42%
排行榜已上线,用户可观看对决、参与盲评、提交自己的任务。
所属事件:CoArena发布:YC支持的众包Computer-Use基准抗数据泄露(2 条相关)→
「编程与Agent」频道最新
- MCP vs CLI vs API:Agent 工具层设计如何隐性推高 Token 账单 — sanjaykalra · 2026-08-23
- 优化 SENPAI 提示词,Qwen 3.8 27B 主智能体更频繁调用子智能体 — morgymcg · 2026-08-23
- 构建优秀评测:拒绝单一分数与盲目爬坡 — realmadhuguru · 2026-08-23
- 反对过度抽取函数:好的代码应减少跳转层级 — serrjoa · 2026-08-23
- 谷歌 Antigravity 走热,开发者盛赞搭配 3.7 Flash 开发体验 — jocarrasqueira · 2026-08-23
- 研究揭示 Agent 自我改进易陷入局部最优 — omarsar0 · 2026-08-23