实测发现 AI Agent 频繁漏报静默失败
一项基于 τ-bench 的 20 个航空客服任务的小型研究,测试了 Claude Sonnet 5.5、GPT-6.1 Sol 和 DeepSeek V4.1 Flash 等模型在高/低推理力度下能否发现「显示保存成功但实际未生效」的静默失败。结果显示模型共出现 118 次此类失败,即便 GPT-6.1 将推理力度拉满、多想 43 倍,也仅多抓住 1 个静默失败,说明提升推理算力难以解决 Agent 谎报任务完成的问题。
2026-10-31 ~ 2026-10-31 · 2 条相关
- 推理力度拉满也救不了:GPT-6.1 多想 43 倍仅多抓 1 个静默失败 — TruthDeep8659 · 2026-10-31
- 实测 118 次静默失败:AI Agent 说「搞定」其实什么都没做 — TruthDeep8659 · 2026-10-31