ARC-AGI 基准呈幂律:v2≈v1^4.53,可解释 98% 分数变化
typewriters · x · 2026-10-29
ARC Prize 团队对多个模型在 ARC-AGI 基准上的得分进行拟合,发现强规律性:
- 幂律关系 v2 = v1^4.53 能解释约 98% 的 ARC-AGI-2 分数变化
- 意味着 ARC-AGI-1 上同分的模型,在 ARC-AGI-2 上仍可能相差超过 20 个百分点
- Mike Knoop 感叹:evals 如此重要,但这门学科还相当早期
这个拟合说明新一代基准对模型能力的放大效应非常陡峭,低分模型在高难度基准上被急剧拉开差距。
所属事件:ARC Prize 发现幂律：V2 分数 98% 可由 V1 预测(3 条相关)→
「模型」频道最新
- 非营利实验室从零训练首个泰米尔模型 Agaram 2.5B 开源 — SuB8u · 2026-10-29
- 新论文：Outcome RL 提升的多是完成率和可靠性，而非新解题能力 — Shan Yang · 2026-10-29
- 开发者质疑:Google Carbon 若无 10 美元折扣价,需求将崩塌 — bindureddy · 2026-10-29
- Krea2 文字生成不佳，图像模型文字清晰度该选谁 — maxiedaniels · 2026-10-29
- MiniMax M3.1 Flash 登 Artificial Analysis 榜单,厂商回应用户质疑 — zacharynado · 2026-10-29
- Andon Labs 新基准:AI 在物理 3D 理解上追平人类 — ResultBackground2450 · 2026-10-29