实测打脸:提高 reasoning effort 几乎不提升 Agent 抓错率
TruthDeep8659 · reddit · 2026-10-31
作者在 τ-bench 上测试 Agent 时发现 LiteLLM 的 dropparams = True 会静默丢弃标准 reasoningeffort 参数,导致「high effort」根本没生效;改用 OpenRouter 的 reasoning.effort 字段后才真正生效。修复后的结论出乎意料:
- 抓错率没变:高 effort 抓到 59 个静默失败保存中的 11 个,低 effort 抓到 10 个(McNemar p=1.00)。
- 推理量暴增但白费:Claude Sonnet 5.5 推理量约 2 倍,GPT-6.1 Sol 约 43 倍,DeepSeek V4.1 Flash 则完全没增加。
- 所有抓错都来自后续保存操作的响应,而非 Agent 主动复查。
代码与 transcript 已开源(GitHub: thinking-harder-silent-failures),完整分析见 Substack。
「编程与Agent」频道最新
- Three.js 合入 meshlet 渲染管线,单场景10亿三角形跑出150FPS — anselm · 2026-10-31
- Steve Yegge 透露 Beads 每秒全球成交 4 笔,月下载 50 万 — Steve_Yegge · 2026-10-31
- agent-stat 0.3.0 发布:本地统计 Codex 与 Claude Code 用量成本 — talkaboutdesign · 2026-10-31
- Northflank 被黑窃走全部环境变量,密钥集中成供应链攻击磁铁 — andersonbcdefg · 2026-10-31
- 游戏开发者分享「角色健身房」工作流:让 AI 生成一切可调参数 — chongdashu · 2026-10-31
- Google XR 负责人 WebAI 峰会演示 XR Blocks+LiteRT.js+Gemini 端侧空间 AI — DuRuofei · 2026-10-31