gleech:三个烂基准解释不掉加速,但 AECI 其余组件堪忧
gleech · x · 2026-11-06
gleech 重申其对 METR AECI 基准组合的批评:他并非主张三个质量低下的基准解释掉了名义上的能力加速(去掉它们反而会提高估计斜率),而是据此推断 AECI 其他组件表现同样有限,整条曲线的 y 轴没有多少实际意义。
所属事件:METR 加速报告引热议，研究者呼吁读原文(3 条相关)→
「模型」频道最新
- OpenAI 自定义 GPT 12月11日退役：用别人 GPT 的用户无法迁移 — Ok_Negotiation_2587 · 2026-11-06
- Kimi K3.1 与腾讯 Hy4 被指阉割开源模型网络安全能力 — Fresh_Sun_1017 · 2026-11-06
- METR 新图争议:内部证据不算科学证据但仍是证据 — gleech · 2026-11-06
- 每日简报:GPT-6.2 曝光、Claude 推理财助手、METR 称模型进度加速 1.9 倍 — testingcatalog · 2026-11-06
- METR 报告研究员引语其实偏乐观:Opus 4.5 编码+加速迭代 — gleech · 2026-11-06
- Epoch AI 剖析 OSWorld:任务简单、不稳定,GUI 能力测不准 — gleech · 2026-11-06