YC 系创业公司发布 FrontierML:5 个前沿模型无一达标的自研 ML 研究 benchmark
rohanpaul_ai · x · 2026-11-20
Y Combinator 孵化的 Synthetic Sciences 发布了 FrontierML,一个评估 AI 智能体自主开展实证 ML 研究能力的 benchmark,25 个开放式 ML 研究问题中,5 个受测前沿模型无一达到「强结果」门槛。
核心设计思路:
- 现有 ML 研究 benchmark 通常给智能体一个与最终得分紧密相关的验证集或验证器,但人类研究者很少拥有这种条件——实证研究的难点恰恰在于决定如何衡量进展、以及该在多大程度上信任这些度量。
- 在 FrontierML 中,每个任务的目标函数被隐藏:智能体拿到开放式 ML 问题和 12 小时 Lab0 时间与真实 GPU(H100),需自行设计局部进度代理指标,在实验中校准该代理的可信度,最后提交模型或方法,由 held-out 评测打分。
- 这实质上考察的是:智能体能否在看不到评分标准的情况下,自主完成「如何度量研究进展」这一研究核心环节。
配图显示各模型归一化得分:Fable 5.2 得 0.523、Opus 5.5 得 0.399、Astra 0.371、Carbon 0.353、Grok 4.7 仅 0.115,均远低于强结果参考线。
所属事件:FrontierML 基准发布:测 AI 自主 ML 研究,无模型达标(4 条相关)→
「编程与Agent」频道最新
- Vibe coding 让企业同一个内部应用被建了三遍 — shensi · 2026-11-20
- AI Skills 共享仍是工程师专属,非研发部门难用 — shensi · 2026-11-20
- Yacine:Joseph Suarez 开源的 skill 文件「值一亿美元」 — yacineMTB · 2026-11-20
- Google Genie 4 上线 Gemini API:可交互世界模型开放调用 — _philschmid · 2026-11-20
- Airbnb 用 Gemma 4 E2B 做策略分类:成本 1%,延迟 35ms,F1 达 0.902 — petrusenko_max · 2026-11-20
- Cognee 开源:用开放权重模型加 Postgres 搭公司知识本体,免图数据库 — philipvollet · 2026-11-20