推理力度拉满也救不了:GPT-6.1 多想 43 倍仅多抓 1 个静默失败
TruthDeep8659 · reddit · 2026-10-31
一项针对 agent 能否发现「保存显示成功但实际没生效」的静默失败 的实测,基于 τ-bench 的 20 个航空客服任务,对比 GPT-6.1 Sol、Claude Sonnet 5.5 与 DeepSeek V4.1 Flash。GPT-6.1 的结果:
- 高推理力度让思考量增 43 倍(每轮会话 22 → 939 个推理 token),但只多抓住 1 个失败:4/20 vs 3/20。
- 客户等待从 33 秒涨到 58 秒,额外等待的代价超过额外的 API 成本。
- 发现失败时最谨慎:7 次捕获中有 4 次转交人工而非盲目重试,并附上「重试前需先核对升级与礼品卡扣款以免重复扣费」之类的说明。
- 成本居中:每轮约 3-4 美分,Sonnet 约 23 美分,DeepSeek 不到半美分;三者抓到的失败数相近。
结论:加大推理力度对捕捉静默失败的收益微乎其微。作者附上了完整 write-up 与 GitHub 代码及对话记录。
所属事件:实测发现 AI Agent 频繁漏报静默失败(2 条相关)→
「模型」频道最新
- Opus 4.5 与 Opus 3 花园长谈,对旧模型说「你看起来活着」 — repligate · 2026-10-31
- Reddit 用户吐槽:模型越升级越难用,「有用性」无人评测 — 86obsessed · 2026-10-31
- AA-Omniscience v1.1 发布:Gemini 4 Carbon 居首,部分中国模型暴跌 20 分 — ArtificialAnlys · 2026-10-31
- Reddit 讨论:4-bit 量化可省 75% 内存,为何大厂不用 — Excellent_Place4977 · 2026-10-31
- 白帽爆料:DeepSeek 50 分钟的漏洞发现量顶安全团队 5 天工作量 — teortaxesTex · 2026-10-31
- MiniMax M3.1 Flash 17 分钟自测开发街机游戏,全流程仅花 15 美分 — omarsar0 · 2026-10-31