METR 新能力曲线无人能恰当反应:AECI 泄露基准仍是老一套弱题
gleech · x · 2026-11-06
gleech 评 METR 新发布的趋势图:没人能对其做出「恰当程度」的反应,因为我们缺乏评估自身的证据。但报告中一个有用的信息是泄露了 AECI 基准组合中的三个:这些至少还是常见的弱基准(外部效度差、测试集公开、标签噪声、不稳定,MMMLU 就是 MMLU 换皮)。他把这种「看了泄露基准反而安心」称为一种奇妙的心理效应,并强调内部人员看过 AECI 组件与样例任务后感到恐慌这件事,虽非科学证据,但也不该被权重为零。
所属事件:METR 新能力曲线引争议,AECI 基准细节遭泄露(2 条相关)→
「漫话AGI」频道最新
- Gary Marcus 澄清「AI 已死」误读：该终结的是天价估值与数据中心军备赛 — GaryMarcus · 2026-11-06
- IIT 教授反 AI 监考:让学生自己出题再作答 — kingslyj · 2026-11-06
- 开发者断言：Transformer 论文之后，再无接近量级的架构突破 — dosco · 2026-11-06
- Toby Ord 结论：跳变加更高斜率的混合假设比纯斜率拟合好得多 — tobyordoxford · 2026-11-06
- Readback Labs 提议强制审计：要求 AI 高管持续证明理解 AI 研发进展 — ronbodkin · 2026-11-06
- 牛津哲学家 Toby Ord:能力曲线更像台阶式跃升而非斜率变化 — tobyordoxford · 2026-11-06