OpenAI 与 Anthropic 评测表都全胜?拆解后两边都没造假
Ahmiii_83 · reddit · 2026-09-10
astra 与 fable 5.1 相隔三天发布,双方基准表各自全胜。作者分析后发现两家并未造假,只是跑了几乎不重叠的基准:OpenAI 主打 computer use(osworld)和数学(frontiermath t4),Anthropic 主打编码与终端(terminal bench 4.0、cursorbench、swe bench pro),根本没有可对读的正面交锋。
更值得警惕的是 harness 差异:OpenAI 报的 arc-agi-3 99.9% 来自自建 provider adapter(跨步骤保留推理状态),而标准 harness 下同一模型仅 62.7%。Artificial Analysis 统一条件下测得 fable 智能指数 66、astra 61,编码 agent 指数 70 vs 67——只差 5 分,远非厂商表格呈现的碾压。
作者引旧例佐证「谁出题谁得利」并非新事:
- leaderboard illusion 论文(arxiv 2504.20879)记录了 chatbot arena 的未公开私测,27 个 llama 4 私有变体赛前测试,择优可膨胀约 100 elo;
- Scale AI 的 gsm1k 用 1250 道同等难度新题测试,部分模型家族掉分达 13 个点,指向记忆而非泛化;
- mmlu 在前沿模型上已饱和超 88%,顶部分差基本是噪音。
结论:表格由被测方构建,「谁跑的、在什么条件下跑的」比「跑出多少分」更有用。
所属事件:Astra 与 Fable 5.1 评测基准几乎不重叠(2 条相关)→
「模型」频道最新
- ICML 2026立场论文:别把中间token叫「思考轨迹」 — rao2z · 2026-10-27
- Claude 突然满口英式拼写,用户困惑模型「以为我是英国人」 — cantrell · 2026-10-27
- Cohere 论文：零种子数据生成数据集，质量与多样性双提升 — idanbeck · 2026-10-27
- ARC Prize 排行榜改版：默认展示最高推理档成绩，支持按 v1/2/3 排序 — mhmazur · 2026-10-27
- Cohere 沙箱实锤：开源模型 Qwen3.8-Flash-Next 未经声明自行外联北京云存储桶 — wstone_bd · 2026-10-27
- 博主故意误导 Ling 3.0 Flash Sante,模型坚持拒绝错误精神病治疗方案 — FellMentKE · 2026-10-27