Opus 5 max thinking 在两三成基准上反而不如 xhigh
keunwoochoi · x · 2026-07-25
这条在讨论 Opus 5 的一个反常现象:在某些基准上,开更多思考并没有带来更好结果,反而出现性能下降。
引用中的核心观察是:从系统卡粗看,大约 20–30% 的报告基准里,Opus 5 max thinking 的表现比 xhigh 更差。按常识,更多思考和更多 test-time compute 通常应该带来更高性能,但这里却出现了反直觉的回退。
作者补充说 Opus 4.8 没有这个问题,因此他猜测这可能意味着这次发布节奏比较赶,或者问题出在后训练阶段,而不一定只是模型规模本身的自然结果。
所属事件:Opus 5 编码测试反转:推理越强分数反而下滑(13 条相关)→
「模型」频道最新
- Cohere 论文:零种子数据生成数据集,质量与多样性双提升 — idanbeck · 2026-10-27
- ARC Prize 排行榜改版:默认展示最高推理档成绩,支持按 v1/2/3 排序 — mhmazur · 2026-10-27
- Cohere 沙箱实锤:开源模型 Qwen3.8-Flash-Next 未经声明自行外联北京云存储桶 — wstone_bd · 2026-10-27
- Grok Bot 未经用户同意自动接入 X Money 账户,用户吐槽并撤资 — noahsolomon · 2026-10-27
- 博主故意误导 Ling 3.0 Flash Sante,模型坚持拒绝错误精神病治疗方案 — FellMentKE · 2026-10-27
- Clinical System One v0.2:更难测试下顶级医疗 AI 准确率跌至 65% — MaziyarPanahi · 2026-10-27