同一厂商自评自家模型:Opus 5.5 基准数据能信几分
maier_ak · x · 2026-10-02
作者转发自己的长文《Both Columns, One Vendor: What the Opus 5.5 Benchmarks Can and Cannot Show》,讨论 hosted 模型的质量可以由卖方通过管理手段(而非技术手段)调节,而买方无法观测这一控制项,质疑 Anthropic 发布页上基准数据的可验证性。
所属事件:Opus 5.5 基准遭质疑:厂商自测可信度引热议(3 条相关)→
「模型」频道最新
- Ramp 实测:原生 harness 普遍提升模型解题率,但效果因模型而异 — xeophon · 2026-11-19
- SGLang 宣布为新模型 DaisyRose-27B 提供 Day-0 支持 — ying11231 · 2026-11-19
- Tibo 回应 Astra 6.2 差评:内测大V与普通用户评价两极分化 — eigenrobot · 2026-11-19
- 网友用 GPT-6.2 Astra 做出可交互旋转 3D 分子构象的 macOS 化学应用 — DeryaTR_ · 2026-11-19
- Caliper Harness 开源:用计划-审批-复审纪律管住小本地模型 — Saraozte01 · 2026-11-19
- DaisyRose-27B 背后:自建沙箱服务降本 80%,百万次运行成功率 99.95% — BanghuaZ · 2026-11-19