3360次实验:AI推荐工具偏向大厂而非技术最优
作者 Santiago Víquez 做了一项大规模 AEO(生成式引擎优化)实验:向 Claude 与 GPT 系列四个前沿模型提出 10 个真实文档处理任务(如提取发票、读取红线合同),提示词中不点名任何工具,共运行 3360 次,观察模型默认推荐哪家 API,全部 prompt 与数据公开。赛道选取文档处理 API——一个 Microsoft、Google、AWS 等大厂与 Reducto、Extend 等创业公司激烈竞争的市场。
已确认
- 直接要求模型推荐工具时,79% 的推荐结果流向大云 API(Azure Document Intelligence、Google Document AI 等)
- 在写代码场景下,模型 70% 的情况下也自行选择大云服务
- 实验结论是模型并不总是推荐技术最优的工具,且作者认为 agent 时代需要人工核实推荐结果,可验证的能力宣称将在产品营销中胜出
为什么重要
- 当 agent 逐渐替代用户做产品选型,「推荐偏置」会成为新的行业命题:偏宏大厂可能让技术更优的中小产品在 agent 渠道失声
- 对产品方而言,面向 agent 的营销(AEO)将要求提供可验证的能力证据,而非仅靠宣传话术
2026-11-17 ~ 2026-11-17 · 5 条相关
一手来源
- 3360 次实验:AI 模型推荐工具时并不选技术最优的那个 — santiviquez ·
- 3360 次实验:模型推荐 79% 给大云,写代码时 70% 自选大云 — santiviquez ·
- 3360 次实验实测:AI 会推荐哪个文档处理工具? — santiviquez ·
- 作者跑 3360 次实验:测 AI agent 到底会不会选对产品 — santiviquez · 2026-11-17
- 【源头】3360 次实验:模型推荐 79% 给大云,写代码时 70% 自选大云 — santiviquez · 2026-11-17
- 实验动机:检验 agent 推荐工具是否需要人工核实 — santiviquez · 2026-11-17
- 【源头】3360 次实验实测:AI 会推荐哪个文档处理工具? — santiviquez · 2026-11-17
另有 1 条近重复转述:santiviquez