Hamel Husain：Opus 5 成本高 6 倍却跑输评测
HamelHusain · x · 2026-07-25
Hamel Husain 借一条引用帖强调：Evals 比感觉重要得多。
- 被引内容称，Claude Opus 5 在一个他在做的 search-agent benchmark 上，burn/成本超过 4.8 的 6 倍以上，也超过 GPT-5.6 的 15 倍以上，但表现反而更差。
- 配图里的转录还显示，模型在一道概率题上反复摇摆、前后改口多次，最后才勉强定案，体现出推理过程的不稳定。
- 这条帖子的核心观点是：比较前沿模型时，应该更看重可重复的评测结果，而不是“看起来很强”的直觉。
「模型」频道最新
- 爆料称 Fable 5.5 每周将发，博主泼冷水：本月无前沿新模型 — patience_cave · 2026-10-26
- 实测 abliterated 去审查模型翻车:模型反而关心起我的心理健康 — ryunuck · 2026-10-26
- OpenAI Decisions API 升级：单次可处理 400 个问题并新增语音与图像能力 — OpenAIDevs · 2026-10-26
- 中国首个前沿AI安全独立评测实验室「方寸跃迁」成立并首发DeepSeek评测 — JacquesThibs · 2026-10-26
- 当 AI 遇上存在主义危机：模型自己也「迷茫」了 — Ok-Delivery-7437 · 2026-10-26
- Kimi K3.1 Pro 登顶 MathArena 开源模型，整体逼近 GPT-5.5 — teortaxesTex · 2026-10-26