FrontierML 基准：给 agent 发钱包，测谁最会用钱换性能
akbirthko · x · 2026-10-14
Induction Labs 发布 FrontierML 基准，测试 agent 能否像人类研究者那样，自主决定算力与数据花费、选择实验——即「用钱 scale 模型性能」的判断力。
基准包含 21 个端到端 ML 任务，给每个 agent 不同预算（$10/$50/$200 钱包 + API 成本）。结果显示：
- 人类研究者仍居首，$200 预算下得分约 66
- Claude Opus 5.5 是最强模型，$200 下约 60 分
- Claude Sonnet 5.5、GPT-6 Astra、Claude Fable 5.1 属第二梯队（40 分级）
- 多数小模型（Gemini 3.8 Flash、Grok 4.7、Muse Spark 1.3）得分不足 10，且加钱收益有限
这测试的正是「人类研究者判断力」这一自动化研究的关键瓶颈。
「编程与Agent」频道最新
- Cursor 经 Supabase MCP 直连后端，对话即可改生产库 — XFreeze · 2026-10-14
- 开发者断言：超人类 Agent 一步到位，Vibe coding 已死 — josh_bickett · 2026-10-14
- MIRA-AC 用代理反馈训练自动科研策略,多项发现任务成绩提升 — anirudhg9119 · 2026-10-14
- MIRA-AC 行为对比:区分性假设测试 16.8%→28%,无效微调近半减 — anirudhg9119 · 2026-10-14
- MIRA-AC 训练细节:重建完整 episode,只更新元推理器 — anirudhg9119 · 2026-10-14
- MCP Event 规范亮相：让 Agent 被动监听系统事件主动干活 — irvinebroque · 2026-10-14