评测称 Claude Fable 5.1 将 agent 失败率砍半,单次正确答案成本 2.46 美元
ryanshrout · x · 2026-09-03
Signal65 推出 PINNACLE 榜单两天后,Anthropic 发布了 Claude Fable 5.1,其测试数据恰好印证了该榜单的立意:
- 失败率:agent 工作流失败率从 Opus 5 / GPT-5.6 Sol 的 14/100 降至 7/100,即减少约一半
- 幻觉:在文档无法回答的问题上编造答案的比例为 0.7%,对比 Opus 5 的 7.6%(约每 140 次一次 vs 每 13 次一次)
- 意义:这一差距决定 agent 是「事事需要人工复核」还是「只需复核例外情况」
- 成本:每个正确答案花费 2.46 美元,是 Opus 5 的 1.8 倍,且大头来自 agent 每步重复读取的上下文,账单随用量增长且没有可调节的旋钮
结论:更少的失败 vs 更小的账单,这个按岗位权衡取舍正是 PINNACLE 榜单存在的理由。
所属事件:PINNACLE 评测:Claude Fable 5.1 agent 失败率减半(2 条相关)→
「Infra」频道最新
- 覆盖 Bedrock/Azure/Vertex 三万条价格,开发者做出云端模型变动雷达 — jsandhu0780 · 2026-10-18
- 1270万 tokens 仅花 0.14 美元,缓存命中率 99.6% 的 agent 实测 — teortaxesTex · 2026-10-18
- 单卡 9060 XT 16GB 跑 Qwen3 27B:262k 上下文 42.7 tps — Maglcite · 2026-10-18
- SlateDB+Lance+Datafusion 自建数据栈,为客户年省数百万美元 — sh_reya · 2026-10-18
- 视频生成 API 每 10 秒约 0.5 美元,自建服务器何时更划算? — Key-Lychee-913 · 2026-10-18
- vLLM 联手 NVIDIA 优化 Kimi K3:GB300 上解码达 842 tokens/s — vllm_project · 2026-10-18