实测 220 题:模型 70% 的网页搜索本不需要,token 却多花 75 倍
demian_ai · x · 2026-10-15
作者花 20 美元用 220 道手验题、11 个类别、开关搜索各跑一遍,实测 gpt-5.4-mini 何时该联网搜索,共得到 1760 个答案。
核心发现
- mini 在 39% 的问题上选择搜索,但其中 70% 的搜索对象它不搜也能答对——比如它去搜了本已知道的 GDPR 生效日期
- 过度搜索按类别差异极大:法律类 78% 的问题触发搜索,其中 97% 毫无必要;医学和植物识别的每次搜索都是多余的;数学、稳定代码、常识题则从不搜索
- 搜索很少把答案改错(880 次对比中 0 次),但也修不了过期信息源
成本才是重点:不开工具时每次仅 58 input tokens,开了搜索工具即使实际没搜也要 4500 tokens。结论是当前 auto 模式的搜索触发远非精确,按次计费场景下白白烧钱。配图给出各类别的准确率变化、搜索率与「不必要搜索占比」完整数据。
「编程与Agent」频道最新
- 别再默认 Medium:实测 Gemini 4 Argon 与 3.8 Flash 各档思考预算的 token 消耗 — rseroter · 2026-10-16
- Next.js 爆严重 RCE 漏洞,use cache 返回类型数组即中招 — jedisct1 · 2026-10-16
- Anthropic 日均合并代码从 2500 涨至 3 万,审查改看「意图」而非逐行读码 — Miles_Brundage · 2026-10-16
- Mercury 开放 MCP:ChatGPT/Claude 可直接操作银行账户转账 — LexSokolin · 2026-10-16
- Notion 推出 150+ MCP 连接,把 HubSpot、Stripe 等数据接入 AI agent — ivanhzhao · 2026-10-16
- 生成式 UI 开放标准 OpenUI 开源,已揽 1.09 万 GitHub 星 — testingcatalog · 2026-10-16