UC Berkeley 团队推 FrontierCS 2:让 AI 智能体盲打超越已发表 CS 研究
arena · x · 2026-11-18
Arena 团队邀请 UC Berkeley 博士候选人 MangQiuyang 与 lihanc02 到总部介绍 FrontierCS 2:一个要求 AI 智能体在不看原论文、不能上网的前提下,做出超越已发表计算机研究方法的 benchmark。两位作者分享了构建可靠评测的关键经验:可靠基准远不止任务设计与生成,还要防范 reward hacking、搭建健壮的评测基础设施,尤其针对开放式研究任务。视频中讨论了多种评测漏洞与利用手法,如用搜索绕过强化学习、复用缓存的图算法结果,以及为什么人类的研究判断仍然不可替代。
「编程与Agent」频道最新
- 开发者用 Astra Codex 1000+ 子智能体 1:1 复刻整个新加坡岛 — gabrielchua · 2026-11-18
- SilentGuard 论文:把 API 静默失败拦截在 harness 层,错误率 74% 降至 1.7% — Genentech · 2026-11-18
- GPT-6.2 Astra 与 Sol 发布,实测对比 Claude Fable 5.2 视觉编码能力 — arena · 2026-11-18
- 开发者实测 Runway MCP:直接在编码工具里调用视频生成 — tlakomy · 2026-11-18
- 早期测试者用 GPT-6.2 Sol 做出 16v16 二战浏览器游戏《Omaha Front》 — VraserX · 2026-11-18
- LangChain 创始人:主动式 Agent 是下一波浪潮 — BraceSproul · 2026-11-18