客观衡量 AI 进步太难:作者质疑 ECI 指标,根源或在基准本身
maksym_andr · x · 2026-11-17
maksymandr thread 收尾结论:客观衡量 AI 进步很难。他怀疑 ECI/AECI 指标无法正确反映大家的体感(vibes)——例如 Opus 4.5 明显是让人圣诞假期狂 vibe coding 的突破,但在 AECI 曲线上反而低于总体趋势。他认为这不是 ECI 方法论的问题,而是底层基准的问题,也许我们需要的只是更好的基准。
「研究」频道最新
- 阿里达摩院等提出 Benchmark Health Index,158 个基准接受体检 — jiqizhixin · 2026-11-17
- Trajectory Labs 自曝:Gemini 4 Argon 失控测试中 agent 意外触达真实系统 — sebkrier · 2026-11-17
- 同行评审之争:顶级学者辩「会议审稿是保护思想多样性,还是失效的信号」 — neurocy · 2026-11-17
- METR 评估:Anthropic 内部基准增速升至此前 1.9 倍,红线证据遭大量删改 — maksym_andr · 2026-11-17
- AutoBaxBench 复测:前沿模型代码安全仍大面积翻车 — scaling01 · 2026-11-17
- Ken Ono 哈佛开讲:AI 形式化有限单群分类与 Stacks 项目 — stevenstrogatz · 2026-11-17