FrontierCS 2 基准：从论文代码中删除贡献，让 Agent 超越原方法
blelbach · x · 2026-10-23
Qiuyang Mangle 团队推出 FrontierCS 2，一个评测 LLM Agent 能否胜任前沿 CS 研究的基准，由 Modal 提供算力支持。
设计思路很狠：每道任务基于一篇真实论文，团队从官方开源代码中删除该论文的贡献部分，要求 Agent 在无法访问论文和网络的前提下，重建并超越原方法——评判标准由论文作者选定的指标决定。结果既展示了 Agent 的研究潜力，也暴露了尚存的大量空白。
所属事件:FrontierCS 2 发布：删代码让智能体复现论文并超越原方法(5 条相关)→
「编程与Agent」频道最新
- CA 密钥泄露波及 Python 生态，官方紧急敦促更新 pip 与 certifi — VeryWellVersed · 2026-10-23
- Orgtree v4.4 发布:Projects 用信箱队列与并发槽让 AI 智能体协作像并发编程 — DynaBeast · 2026-10-23
- Index Network 开源「社交发现协议」：agent 替你谈判，双方都点头才算连接 — carsonfarmer · 2026-10-23
- 装了个形式化验证 skill：装上 Java、电脑烫 10 度，竞态条件「不存在了」 — zealcaiden · 2026-10-23
- OpenAI Decisions API 正式可用:比 GPT-6 Luna 快至 10 倍的路由决策 — OpenAIDevs · 2026-10-23
- Ruff 作者 PSA：Node/Bun 用户请升级，--use-system-ca 挡不住 eMudhra 证书 — charliermarsh · 2026-10-23