长文质疑 Opus 5.5 基准可验证性:厂商既当运动员又当裁判
maier_ak · x · 2026-10-02
Andreas Maier 长文指出核心问题:托管模型的质量可以由卖方通过管理手段调节,而买方无法观测,这不需要任何故障或恶意即可发生。文章梳理 Anthropic 近期发布节奏:Opus 4.7(4月16日)上线后被反映拒绝率过高,当月 Claude Code 收到创纪录的 35 起无理由拒绝报告;42 天后即发 4.8;Opus 5(7月24日)一周内被抱怨答案冗长、小 bug 重写大段代码、审查成本超过节省;60 天后又发 5.5。作者强调并非指控造假,而是:发布页回答的是公司外部无人能验证的问题,且这不是媒介的偶然,而是「允许客户观测什么」决策的结果。他提出低成本的审计方案:固定快照、每列声明计算投入、由非卖方每天跑独立 held-out 测试套件。
要点
- 发布页数据清晰具体,但全部由卖方自己测量,无第三方可复现
- 5.5 降价(输入 5→4、输出 25→20 美元、缓存读降 60%)反驳「削弱旧款促升级」阴谋论
- 但宣称「运行成本降 40%」意味着节省来自压缩深思过程
- 建议行业建立廉价独立验证机制
所属事件:Opus 5.5 基准遭质疑:厂商自测可信度引热议(3 条相关)→
「模型」频道最新
- Mistral Large 4 编码实测:2 小时仅耗 0.82 欧元额度 — qtnx_ · 2026-11-19
- GPT-6.2-Astra-Max 高强度连跑24小时,周额度仅消耗20% — prd_008 · 2026-11-19
- Kling Image 4.0 登 Artificial Analysis 榜单第七,唯一支持原生 8K 输出 — anthara_ai · 2026-11-19
- Contra Labs 发布设计基准:神秘模型 Gestalt 力压人类金牌作品登顶 — yuwen_lu_ · 2026-11-19
- Gemini 霸榜 Arena 日常聊天榜引质疑:是真好用还是评测偏差? — Balance- · 2026-11-19
- 网友用 Claude Opus 5.5 做出浏览器内只狼风 Boss 战 — prasenx · 2026-11-19