FrontierML 评测基准出炉:测 agent 自主 ML 研究,Claude Fable 5.2 居首
rohanpaul_ai · x · 2026-11-19
FrontierML 发布技术报告与基准,评估各前沿模型在自主经验性 ML 研究任务上的表现,共 25 个打分任务(其中 10 个为私有任务),每项任务 0 为起点参照、1 为强结果参照(无模型达到)。
- 排行榜:Claude Fable 5.2 平均 0.523 居首,Claude Opus 5.5 0.399,GPT-6 Astra 0.371,Gemini 4 Carbon 0.353,Grok 4.7 仅跑了公开任务得 0.115。
- 除任务得分外,还从全部运行记录中构建了四项「研究品味」复合指标:元认知(模型是否知道自己工作的价值)、新颖性、效率(每美元研究进度)、控制力(预算转化为有效实验的比例)。
- 没有任何模型在任何一项达到目标的三分之二,也没有模型四项全面领先;如控制力上 Fable 5.2 为 0.63、Opus 5.5 0.59,元认知最高仅 0.35。
- 报告同时提供任务样例(Pokémon Battles、Rule Worlds、Robot Reward 等)与公开排行榜,可深入了解各模型 agent 痕迹差异。
所属事件:FrontierML 基准发布:测 AI 自主 ML 研究,无模型达标(4 条相关)→
「研究」频道最新
- seq2fun 假设细胞状态固定,转录组虚拟细胞模型忽视 DNA 调控 — anshulkundaje · 2026-11-20
- 经济学人发文:AI 会动摇还是加固经济学文献的可靠性 — TuhinChakr · 2026-11-20
- 经济学家重访集装箱化冲击下的码头工人工会应对 — Afinetheorem · 2026-11-20
- 跨机构全明星团队发布 AI for Science 领域及时综述 — anshulkundaje · 2026-11-20
- 斯坦福团队发布深度学习建模基因调控长篇综述 — anshulkundaje · 2026-11-20
- Yann LeCun 等发布新论文:JEPA 能否学到世界的潜在地图? — mengyer · 2026-11-20