FrontierCS 2 基准：最强 LLM 智能体也只通过约一半 CS 研发任务

Qiuyang Mang · hf · 2026-10-23

FrontierCS 2 发布，是一个评估 LLM 智能体开放式计算机科学研发能力的基准，共 48 个任务：取一篇论文及其作者发布的代码，删除论文贡献部分，被删代码即人类参照基准。与以往开放式基准不同，智能体被置于真实研究环境中，继承一个可运行的代码仓库并可随时提交补丁，评审只返回开发套件分数而隐藏最终评测集，最后在私有held-out 套件上对照人类参照评分。结果显示，即使最强的智能体也只能通过约一半任务。