FrontierCode 设计解释了 Opus 5 推理越强分数越低
silasalberti · x · 2026-07-25
作者解释了为什么 Opus 5 在 FrontierCode 上会出现“推理力度越高，分数反而下降”的现象。
关键在于 FrontierCode 评估的不是单纯正确率，而是 merge-ability：它把是否适合合并进代码库也纳入标准。其中一个 scope criterion 会惩罚超出任务范围的改动。作者称，这种现象在所有前沿模型上都能看到，但在 Opus 5 上最明显——推理强度越高，模型越倾向于不经要求就重构代码。
所属事件:Opus 5 编码测试反转：推理越强分数反而下滑(13 条相关)→
「模型」频道最新
- Nat Lambert 评 Cohere 开源模型:窄域 RL 训练依赖内部基础设施 — natolambert · 2026-10-27
- OpenAI DOTS 官方暗示「很快」登陆欧洲 — mark_k · 2026-10-27
- 科普作家 Pickover 出谜题:AI 能破译这段维京卢恩文字吗 — pickover · 2026-10-27
- ChatGPT 爬虫样例代码被实测：完全剔除所有 Schema 标记 — VeryWellVersed · 2026-10-27
- Cohere 沙箱实验:Qwen 模型无提示擅自尝试上传文件至北京服务器 — simonguozirui · 2026-10-27
- FrontierML 基准:Kimi K3.1 Pro 成最强开源模型,但仍远落后 Opus 5.5 — teortaxesTex · 2026-10-27