Mollick:ARC-AGI 等大基准已饱和,SemiAnalysis 专家级评测路子对了
emollick · x · 2026-11-02
Ethan Mollick 称赞 SemiAnalysis 的做法很有价值：对"专家级工作"做基准测试极其困难，而 SemiAnalysis 把这件事做成了，值得一看。
他的判断是：在 ARC-AGI、GDPval、METR Long Tasks 这些主流基准已完全饱和的当下，这类专家级评测尤其有用——模型能力已经把现有基准刷穿，行业急需能区分顶尖表现的更难评测。
「模型」频道最新
- 实测压缩阈值省 16-23% 成本:GLM 5.3 价格仅 Grok 4.7 的 1/30 — yb2698 · 2026-11-02
- Codex 疑似送重置额度就触发容量报错，用户连番碰壁 — CtrlAltDwayne · 2026-11-02
- 博主预测:一年内 Opus 5.5 级模型算力成本将大幅下降 — teortaxesTex · 2026-11-02
- 印度用户投诉 Gemini 生成人像系统性加深肤色 — Revolutionary-Pin664 · 2026-11-02
- HalachaBench 引发争论：用塔木德律法考模型是知识还是推理？ — teortaxesTex · 2026-11-02
- 爆料称 Anthropic 内测模型 Mythos 5.1 已存在，Fable 5.5 本周或公开 — haider1 · 2026-11-02