Opus 5 基准分更高,真实使用却明显落后 Fable
petergyang · x · 2026-07-26
- 转述的分析认为,今天常用的公开基准已经几乎无法真实区分前沿模型。
- 作者举例称,Opus 5 在真实任务里明显不如 Fable,但却在很多 benchmark 上占优,说明榜单和实际体验已经脱节。
- 因此他更信任用私有数据集做的领域评测,甚至认为未来每个团队都可能自己跑 eval,而不是依赖公共榜单。
- 贴文还暗示 Anthropic 对 5 系列 的训练方式在变化,但原帖截断,完整比较未展示。
所属事件:Opus 5 实测:单 prompt 生成惊艳,复杂任务仍逊 Fable(24 条相关)→
「模型」频道最新
- 隐私场景实测:本地 Qwen 3.8 FN 不输云端前沿模型还更快 — dr_lm · 2026-10-27
- Aidan Gomez:模型推理痕迹说谎,CoT 监控对 Agent 可能失效 — aidangomez · 2026-10-27
- Nat Lambert 评 Cohere 开源模型:窄域 RL 训练依赖内部基础设施 — natolambert · 2026-10-27
- OpenAI DOTS 官方暗示「很快」登陆欧洲 — mark_k · 2026-10-27
- 科普作家 Pickover 出谜题:AI 能破译这段维京卢恩文字吗 — pickover · 2026-10-27
- ChatGPT 爬虫样例代码被实测:完全剔除所有 Schema 标记 — VeryWellVersed · 2026-10-27