Cognition 发布 FrontierCode 2.0:用模糊需求考 AI 的工程判断力
DevinAI · x · 2026-10-28
Cognition(Devin 背后团队)成员与研究团队合作推出编码基准 FrontierCode 2.0,由官方发布。
- 该基准系列的核心问题是「这个 PR 你真的会合并吗」,而非仅考察按规格写代码的能力
- 2.0 版任务更多样、范围更大、对可合并性(mergeability)标准更高,进一步追问「不仅你会不会合并,而是你该不该合并」
- 关键设计是「欠明确提示」(underspecified prompts):故意在 prompt 中保留模糊性,不给全工程决策,让模型展示自主判断力
「研究」频道最新
- 粗基线击败 7 项中的 6 项 Agent 记忆系统,先跑它再谈管线 — JeremyCMorgan · 2026-10-28
- 微软分析16万条Reddit帖,归纳出23类AI代理委派失败 — dair_ai · 2026-10-28
- 一张表讲透论文各章节写法:功能、文风与经验法则速查 — Faheem_uh · 2026-10-28
- 重复帖:OpenAI 抢先解开百万美元量子数学难题 — scientificamerican · 2026-10-28
- BlackboxNLP 2026 议程公布:三位主旨讲者加六场口头报告 — hanjie_chen · 2026-10-28
- 两位博士后公开 AI 辅助 Yang-Mills 部分成果,回应 OpenAI 主张 — doublefelix921 · 2026-10-28