FrontierML 基准:Fable 5.2 自主 ML 研究得分 0.523 居首
rohanpaul_ai · x · 2026-11-19
Synthetic Sciences 发布 FrontierML:25 个开放式 ML 研究问题,只说明结果如何评审、不给出可优化的狭义指标,模拟真实研究中研究者自己定义代理指标的场景。METR 给其 16 个乱真因子评分打了 9.5/10。
- 每轮任务 12 小时,agent 在虚拟实验室内可迭代实验、冻结文献与数据、调用模型 API,并从共享集群按任务租用 H100,预算来自每任务 50–125 美元的钱包;密封提交防止数据泄露。
- 结果:Fable 5.2 平均归一化得分 0.523 领先,Claude Opus 5.5 为 0.399,Astra 0.371、Carbon 0.353、Grok 4.7 仅 0.115(只跑了公开任务),没有任何模型接近 strong-result 参考线。
- Lab0 还构建了 metacognition、novelty、efficiency/control 四类复合研究品味指标,没有模型在任一指标达到目标的三分之二;模型分化明显——Opus 5.5 擅长评判自己的结果,Fable 5.2 则更会发明新机制、花预算更聪明。
- 两个消融显示「让任务更简单」无效,强结果之后只有新机制才带来提升。
所属事件:FrontierML 基准发布:测 AI 自主 ML 研究,无模型达标(4 条相关)→
「编程与Agent」频道最新
- 前 OpenAI CTO 观点:微调小模型可在微任务上胜过前沿大模型 — ThePeterMick · 2026-11-20
- 让 Claude 在 CAD 里加个螺丝孔,它露出了这种表情 — _Stocko_ · 2026-11-20
- OpenAI 曝光 Performance Factory:Codex 自动修 ChatGPT 性能问题 — bendee983 · 2026-11-20
- GPT 6.2 Astra 不用图像生成器:整幅风景画全靠代码逐像素画出 — mark_k · 2026-11-20
- Beaker 让 agent 自动瘦身自己的 wiki:从错误溯源修知识库,省下工程师数天 — VictorSanh · 2026-11-20
- Vibe coding 让企业同一个内部应用被建了三遍 — shensi · 2026-11-20