MKA 基准细节:头部七模型 Regression 门槛 95-97%,Climb 拉开 28%-57% 差距
ArtificialAnlys · x · 2026-11-11
Artificial Analysis 补充 MKA 基准细节:Regression(基线)标准上头部七模型都在 95%-97%,区分度很小;真正拉开差距的是 Climb(高难)标准,分布从 28% 到 57%。同一任务上,Gemini 4 Carbon (high) 用 76 轮、约 1 小时、约 $8 完成,Claude Fable 5.2 (max) 用 224 轮、约 3 小时、约 $68,但产出幻灯片得分更高(87% vs 72%);Carbon 看图 118 次对比 Fable 的 203 次。六种输出文件类型各有领先者:Claude Fable 5.2 领先 PDF、Word 等,DeepSeek V4.1 Flash 1017 领先文本文件。
所属事件:DeepMind MKA 基准上线,头部模型高难项差距悬殊(4 条相关)→
「模型」频道最新
- PyMC Labs 发布营销基础模型 River:免逐数据集拟合的贝叶斯 MMM — twiecki · 2026-11-11
- TheZvi 指出 Fable 5.2 在多项测试上稳健性反而下降 — TheZvi · 2026-11-11
- TheZmi 观察:Fable 5.2 在多项鲁棒性测试上不升反降 — TheZvi · 2026-11-11
- Siri AI 端侧首层 Skimmer 拆解:纯正则免模型,最快比 LLM 快 20 倍 — SumitGup · 2026-11-11
- Stripe CEO 吐槽:高 effort 只是更深想每个选项,而不是考虑更多选项 — gabriel1 · 2026-11-11
- 民调:70% 认为 Anthropic 内部最强模型加 5000 万美元可碾压人类专家 — JacquesThibs · 2026-11-11