Coarena 众包基准：解决 Computer-Use 测试数据泄露问题
ycombinator · x · 2026-08-23
Coasty 发布 Coarena，一个针对 Computer-Use（计算机使用）的众包基准测试平台。旨在解决现有静态基准测试容易泄露到训练数据、导致分数虚高但能力未涨的问题。
核心机制：
- 每场竞技都是真人提交的真实任务。
- 两个前沿模型在相同沙箱中并行运行，记录每一步操作和截图。
- 人类进行盲测评判：先选出胜者，再揭晓模型。
早期发现：
- 约 66% 的 Agent 运行能完成任务，1/3 直接失败。
- 在相同任务下，表现最好的 Frontier Agent 完成率约 87%，最差仅 42%。
- 某主流前沿模型在常规操作上频繁超时。
所属事件:CoArena发布：YC支持的众包Computer-Use基准抗数据泄露(2 条相关)→
「编程与Agent」频道最新
- 分离云端路由与本地执行：打造不「撒谎」的 Mac 构建系统 — NathanWilbanks_ · 2026-08-23
- Iridium MCP 服务器：让 Agent 查询健身记录 — modelcontextprotocol · 2026-08-23
- DM 药妆店 MCP 连接器：支持实时产品搜索 — modelcontextprotocol · 2026-08-23
- 用 Supabase 和 Vercel 搭建生物实验管线追踪 — iskander · 2026-08-23
- Armin Ronacher：LLM 让「难语言」崛起，选型更像选营销 — mitsuhiko · 2026-08-23
- 开发者分享混合部署 Claude 与 Grok 节省 API — Daniel_Farinax · 2026-08-23