FrontierCode 设计解释了 Opus 5 推理越强分数越低
silasalberti · x · 2026-07-25
作者解释了为什么 Opus 5 在 FrontierCode 上会出现“推理力度越高,分数反而下降”的现象。
关键在于 FrontierCode 评估的不是单纯正确率,而是 merge-ability:它把是否适合合并进代码库也纳入标准。其中一个 scope criterion 会惩罚超出任务范围的改动。作者称,这种现象在所有前沿模型上都能看到,但在 Opus 5 上最明显——推理强度越高,模型越倾向于不经要求就重构代码。
所属事件:Opus 5 编码测试反转:推理越强分数反而下滑(13 条相关)→
「模型」频道最新
- 第三方实测:DeepSeek V4.1 Flash 达 GPT-6 Astra 98% 分,成本仅 1.4% — ayushtweetshere · 2026-09-11
- TheZhi 发起调查:Fable 5.1 与 Astra 发布后,编码模型选择变了吗 — TheZvi · 2026-09-11
- antirez 谈 Anthropic 禁止未成年人使用 Claude — antirez · 2026-09-11
- Engram 随机读取不适合 SSD,CPU 内存低延迟共享或成正解 — bookwormengr · 2026-09-11
- RTX 3060 全本地语音助手复刻 GPT Live 官方演示,6 分钟跑完全程 — liampetti · 2026-09-11
- 曝 Meta Muse Agent 内置邀请码逻辑,或携额外免费额度上线 — testingcatalog · 2026-09-11