Terminal-Bench-Science 最高分四个月从 30% 冲到 74.6%,硬科学任务告急
geoffwolfe · x · 2026-11-10
ReasonCore AI 分析 Claude Fable 5.2 在 Terminal-Bench-Science 上的 74.6% 成绩(8 月该基准上线时最高分仅 30%),指出三点:
- 分辨率:基准仅 70 个任务,任务聚类标准误 4.3 分——Fable 5.2 与 Mythos 5.2 的 0.7 分差距纯属噪声,与 GPT-6 Astra 的 6.5 分差距约 1.5 个标准误。
- 供给:920 个任务提案最终只合并 70 个,通过率 7.6%;难而可验证的科学任务被消耗的速度快于制造的速度。
- 信号:接近 75% 后,几乎每次试验都能解掉更多任务,基准不再能区分模型,也无法给 RL 提供梯度。
「模型」频道最新
- MiniMax H3 Image 早期访问曝光:16 张参考图、4K 输出,真实感惊人 — flowersslop · 2026-11-10
- 博主横评三大模型:写代码 Opus 强,架构规划 Fable 系碾压 — aigclink · 2026-11-10
- Plus 用户吐槽:取消免费重置后额度耗尽已三天无法使用 — TameYour · 2026-11-10
- 观察:Anthropic 的家长式作风与 Claude 的家长式口吻一脉相承 — amplifiedamp · 2026-11-10
- SemiAnalysis GDPx 榜单首发:Claude Fable 5.2 以 16.4% 登顶 — scaling01 · 2026-11-10
- Anthropic 把 GPU 内核优化列为风险能力并训练期设限,社区质疑「pre/post nerf」 — WolframRvnwlf · 2026-11-10