FrontierCS 2 基准发布:删除论文核心代码让 Agent 复现超越

Qiuyang Mang 等人发布 FrontierCS 2,一个评测 LLM Agent 能否胜任前沿计算机科学研究的基准,由 Modal 提供算力支持。设计上每道任务基于一篇已发表论文,从官方开源代码中删掉论文的核心贡献,要求 Agent 复现并超越原方法。团队从 13 个 CS 领域的已发表论文构建了 48 个任务,并邀请各领域专家逐一精化。

2026-10-23 ~ 2026-10-23 · 3 条相关

另有 1 条近重复转述:blelbach