伯克利博士生推出 FrontierCS 2,让 AI 智能体盲测挑战已发表论文
arena · x · 2026-11-17
UC Berkeley 博士生 Qiuyang Mang 与 Lihan Chen 在 Arena 总部介绍 FrontierCS 2:一个要求 AI 智能体在不看原论文、无网络访问的情况下超越已发表 CS 研究方法的 benchmark。访谈还讨论了成本与性能权衡、评测漏洞,包括用搜索绕过强化学习、复用缓存的图算法结果等作弊手段,以及为什么人类研究判断依然不可替代。
所属事件:伯克利博士生发布 FrontierCS 2 基准,Claude Opus 5.5 居首(3 条相关)→
「编程与Agent」频道最新
- 用户吐槽 Codex 无长任务运行指示,只能手动改名标记 [running] — chrisalbon · 2026-11-17
- J.Doe 能把你的偏好变成规则,并将实际工作交给 Claude Code 执行 — eyishazyer · 2026-11-17
- J.Doe 演示记忆型 Agent:六周前的承诺到期自动推送决策卡片 — eyishazyer · 2026-11-17
- Poolside 联创:一切功能终将坍缩进模型,Rex 为此而生 — sull · 2026-11-17
- 开源 VPS MCP Server:让 AI 直接通过 Portainer 管理容器 — modelcontextprotocol · 2026-11-17
- 高通演示端侧小模型分流:每请求 8.6ms 决定本地还是上云 — carrycooldude · 2026-11-17