FrontierML 发布:25 道开放题考察 AI 自主 ML 研究能力
ycombinator · x · 2026-11-19
Synthetic Science 团队推出 FrontierML,一个评测 AI agent 自主开展实证机器学习研究的基准,获 YC 转发。
- 现有 ML "研究" 基准大多给 agent 提供与最终分数紧密对应的验证集或验证器;而人类研究者很少拥有这种条件
- 该基准包含 25 个开放式问题,agent 必须自己通过实验把"进展"操作化:构建本地代理指标并校准对其的信任程度,同时朝一个从不直接观测的目标推进
- agent 提交的模型或方法最终在留出的评测集上打分
「研究」频道最新
- NVIDIA 开源 Nemotron-Labs-Sigma:连续扩散语言模型并行成块生成 — karsten_kreis · 2026-11-19
- 「理解审计」论文提出给 AI 研发设门槛,附审计评级标准 — ronbodkin · 2026-11-19
- PRIM 论文拆解 LLM 数学推理:识别灵感 92%,自己发现仅 25% — _vztu · 2026-11-19
- Karpathy 推进 nanochat 修订版:以深度为旋钮系统研究 scaling laws — eliebakouch · 2026-11-19
- Palisade 的 AI 自我复制研究被指复现存在问题 — NathanpmYoung · 2026-11-19
- 活体小鼠排卵实时成像:卵子挤出时被拉成椭圆再复原 — JosephJacks_ · 2026-11-19