Anthropic ARC-AGI-3 领先被质疑失去区分度
morqon · x · 2026-07-25
- 这条转述在质疑 Anthropic 对 ARC-AGI-3 的宣传：有人认为这个基准在第一天就已经接近“被解完”，因此即便某个模型分数更高，也未必说明真实能力有多大差距。
- 引用里的核心观点是：过快饱和的评测会失去区分度。当基准题目变得太容易时，模型之间的分数差可能不再反映实际应用中的能力差异。
- 这条信息的重点不在单个分数，而在于：公开 benchmark 一旦被模型迅速追平，评测本身就会很快过时。
所属事件:Opus 5 ARC-AGI-3 高分引发造假与过拟合争议(11 条相关)→
「模型」频道最新
- Agent Astra 在 GauntletBench 得 83%,成首个超人类基线的电脑操作 Agent — ducha_aiki · 2026-09-11
- Kimi K2.8 Preview 上线：性能接近 K3、1M 上下文全档开放 — teortaxesTex · 2026-09-11
- 有人想给软件工程任务建「形态分类」数据库,好按任务选模型 — StewartalsopIII · 2026-09-11
- 用户呼声下 DeepSeek V4 Pro API 宣布继续服务,计费不变 — teortaxesTex · 2026-09-11
- 第三方实测:DeepSeek V4.1 Flash 达 GPT-6 Astra 98% 分,成本仅 1.4% — ayushtweetshere · 2026-09-11
- TheZhi 发起调查:Fable 5.1 与 Astra 发布后,编码模型选择变了吗 — TheZvi · 2026-09-11