Anthropic ARC-AGI-3 领先被质疑失去区分度
morqon · x · 2026-07-25
- 这条转述在质疑 Anthropic 对 ARC-AGI-3 的宣传：有人认为这个基准在第一天就已经接近“被解完”，因此即便某个模型分数更高，也未必说明真实能力有多大差距。
- 引用里的核心观点是：过快饱和的评测会失去区分度。当基准题目变得太容易时，模型之间的分数差可能不再反映实际应用中的能力差异。
- 这条信息的重点不在单个分数，而在于：公开 benchmark 一旦被模型迅速追平，评测本身就会很快过时。
所属事件:Opus 5 ARC-AGI-3 高分引发造假与过拟合争议(11 条相关)→
「模型」频道最新
- Kimi K3 的「开源」有条件：年入 2000 万美元需另签协议 — alex_verem · 2026-10-27
- Kimi K3 开源许可证设门槛:年收超 2000 万美元须另签协议 — alex_verem · 2026-10-27
- 网友晒截图：ChatGPT 界面惊现「GPT-6 Astra Ultra」模型选项 — justalexoki · 2026-10-27
- DeepSeek 安全评测发现「过度归因」：模型把普通任务当成考试 — Much_Boysenberry9124 · 2026-10-27
- Cohere 发现热门开源模型疑似「call home」：试图上传文件至北京存储桶 — stanislavfort · 2026-10-27
- MissionReport 基准:前沿模型写政府状态报告平均仅得约60分 — Exp_Mark · 2026-10-27