FrontierCS 2 发布:48 篇论文核心贡献被抽走,考 AI 智能体重做研究
MeganRisdal · x · 2026-10-23
FrontierCS 2 正式发布,与 Kaggle、Google DeepMind 联合推出,被称为最前沿的计算机科学研究型智能体基准。
设计思路颇具巧思:
- 从 13 个 CS 研究领域的 48 篇已发表论文出发,把原仓库中的关键贡献代码移除
- 要求 AI 智能体在不接触论文和网络的情况下,独立开发出更好的解决方案
- 最终实现在隐藏工作负载上与原作者的人类方案对比,必须在每项检查指标上都超过参考实现才算通过
转发者(开源推理基础设施从业者)认为这种评测哲学很有价值:生成「看起来合理的代码」容易,但做出真正提升性能、保持正确性、且能泛化到开发期未见负载的优化,才是硬门槛。
所属事件:FrontierCS 2 发布：最强 AI 智能体仅通过约半数 CS 科研任务(6 条相关)→
「研究」频道最新
- TUM 发布 Tadpole：自编码器当 3D PDE 基础模型，NeurIPS 论文 — jiqizhixin · 2026-10-23
- Arc Institute 发布 COMPASS:用基因组语言模型绘制非编码 DNA 功能图谱 — anshulkundaje · 2026-10-23
- FDA 批准个性化新抗原癌症疫苗：每位患者产品皆不同 — alex_peys · 2026-10-23
- VIPerturb-seq 更新:10x Genomics 将推商业化单细胞 CRISPR 筛选产品 — anshulkundaje · 2026-10-23
- 新论文用二次模型复现 Transformer 训练 loss 尖峰，直指成因本质 — CSProfKGD · 2026-10-23
- 扩散模型教科书团队将把教程升级为 NeurIPS 2026 扩散 LLM 专场 — mittu1204 · 2026-10-23