Coarena 众包基准：解决 Computer-Use 测试数据泄露问题
ycombinator · x · 2026-08-23
Coasty 发布 Coarena，一个针对 Computer-Use（计算机使用）的众包基准测试平台。旨在解决现有静态基准测试容易泄露到训练数据、导致分数虚高但能力未涨的问题。
核心机制：
- 每场竞技都是真人提交的真实任务。
- 两个前沿模型在相同沙箱中并行运行，记录每一步操作和截图。
- 人类进行盲测评判：先选出胜者，再揭晓模型。
早期发现：
- 约 66% 的 Agent 运行能完成任务，1/3 直接失败。
- 在相同任务下，表现最好的 Frontier Agent 完成率约 87%，最差仅 42%。
- 某主流前沿模型在常规操作上频繁超时。
所属事件:CoArena发布：YC支持的众包Computer-Use基准抗数据泄露(2 条相关)→
「编程与Agent」频道最新
- Liquid AI d1-ultra 只输出决策不写字，输入计费 $0.042/百万 token — JosephJacks_ · 2026-10-16
- Claude Opus 5.5 + Unity 6 完整教程：六步从空文件夹做出可玩游戏 — Roger_M_Taylor · 2026-10-16
- Marc Lou 公开安利 PostShiba：独立开发者的邮件基础设施新选择 — marclou · 2026-10-16
- RExBench 基准:最强编码 Agent 自主完成研究扩展成功率仅 33% — najoungkim · 2026-10-16
- 开发者把 Pstack skills 装进 Grok bot 与 Hermes agents — alexcovo_eth · 2026-10-16
- past.dev 推出 Agent 长期记忆 API,登顶 BEAM 公开记忆基准 — thisiskp_ · 2026-10-16