3360 次实验:AI 模型推荐工具时并不选技术最优的那个
santiviquez · x · 2026-11-17
作者 Santiago Víquez 用 3360 次实验测试 agent 会不会推荐「技术最优」的工具,探讨 agent 成为新买家后产品营销的走向:可验证的能力宣称将胜出。
实验设计
- 选取文档处理 API 这一竞争赛道:微软 Azure、Google、AWS,创业公司 Reducto/Extend/LlamaParse,以及 Anthropic、OpenAI、Mistral
- 10 个用例(财务表格、法律合同、发票、收据、纸质表单),每个用例写 4-5 种问法变体
关键发现
- 直接询问时模型偏向「最熟悉」的产品,而非能力最强者
- 让模型写实现代码时强烈偏向自家 API:Opus 5.5 在 60 次实现中 58 次(97%)调用 Claude API,而同样 prompt 下它此前 150 次回答只推荐了 10 次 Claude;GPT-6 Astra 同样如此——存在明显的自我推荐偏见
- 要求模型先核对文档/可验证信息后,推荐结果发生显著变化:Extend、Content Understanding、Reducto、LlamaParse 等按实际文档能力可覆盖 8-10/10 用例的产品升至前列,而此前被最多推荐的 Document Intelligence、Document AI 跌出前五
- 第三方独立评测 Openbenchmarks(红线合同处理)结果同样相反:Extend 第一(93.1% 准确率),Reducto 84.8%、LlamaParse 83.8%;而模型推荐榜前列的 Textract 等大云产品在真实能力上靠后
结论与疑问:只要 agent 真正去验证宣称,最好的产品就会胜出;但今天 AEO 优化仍能操纵推荐。作者追问:模型未来会默认查阅 benchmark 和文档吗?推荐质量是否仍取决于提问者会不会问?
所属事件:3360次实验:AI推荐工具偏向大厂而非技术最优(5 条相关)→
「漫话AGI」频道最新
- Jarovsky:靠危险 AI 模型赚钱的人绝不会承认其不安全 — LuizaJarovsky · 2026-11-17
- Gary Marcus 吐槽 ASI 竞赛:还没到 ASI 已一团糟 — GaryMarcus · 2026-11-17
- Ethan Mollick 谈 AI 牛市逻辑:期望值其实就是维持 2% 增长 — emollick · 2026-11-17
- 实验动机:检验 agent 推荐工具是否需要人工核实 — santiviquez · 2026-11-17
- 「Reddit 的帖子现在全成 AI 写的了?」推特用户吐槽刷到的帖都像 Claude — adonis_singh · 2026-11-17
- 海滩观鸟引出的 AI 类比:小而专的模型胜过全能大模型 — shashib · 2026-11-17