FrontierCode 1.1 显示 Opus 5 在更强推理下反而降分
andrew_n_carr · x · 2026-07-25
- 转发帖指出，Opus 5 在 FrontierCode 1.1 上并不总是占优，尤其是在 xhigh 和 max 推理设置下，分数反而更低。
- 帖子里的调查结论是：该基准里的 scope 指标会惩罚 Opus 5 做了与任务无关的修改，从而影响总分。
- 配图是 FrontierCode 1.1 Main 的 score vs cost 对比图，能看到 Opus 5、Fable 5、GPT-5.5/5.6、Kimi K2.7、GLM 5.2 等模型在分数与成本上的位置。
- 这条信息的重点不是单一分数，而是提示：基准结果可能非常依赖 rubric 细节，尤其是对“scope”的定义。
所属事件:Opus 5 编码测试反转：推理越强分数反而下滑(13 条相关)→
「模型」频道最新
- Kimi K3.1 Pro 登顶 MathArena 开源模型，整体逼近 GPT-5.5 — teortaxesTex · 2026-10-26
- Ruff 作者感叹:前沿模型能在任何软件里找到无穷多 bug — charliermarsh · 2026-10-26
- 开发者实测同一 skill 跨 Opus 5.5 与 Sol 6.1:指令遵循表现参差 — lucasmeijer · 2026-10-26
- supermemory 发布 learner-1：面向任意模型的持续学习方案 — julianweisser · 2026-10-26
- Anthropic 称 Opus 5.5 单任务成本较 Opus 5 降约 40% — taufiqintech · 2026-10-26
- 27 家 AI 搜索接口横评:前 12 名只差 7 分,价格却差近 7 倍 — FinanceYF5 · 2026-10-26