3360 次实验实测:AI 会推荐哪个文档处理工具?
santiviquez · x · 2026-11-17
作者做了一项 AEO(生成式引擎优化)研究:向 Claude 与 GPT 四个前沿模型提问 10 个真实文档处理任务(如提取发票、读取红线合同),提示词中不点名任何工具,共 3360 次实验,看模型默认推荐哪家 API,全部 prompt、响应与结果均已公开。
配套的评测框架已在 GitHub 开源(MIT 协议),含完整代码、任务与结果数据。作者进而提出问题:未来模型会不会默认去核查 benchmark 等可验证信息,还是今天的 AEO 操弄手法仍有空间?对做 AI 时代产品营销的人,这份一手数据很有参考价值。
所属事件:3360次实验:AI推荐工具偏向大厂而非技术最优(5 条相关)→
「研究」频道最新
- Fleuret 点破一个内存优化技巧:状态记录复杂度直降一个维度 — francoisfleuret · 2026-11-17
- 3360 次实验:AI 模型推荐工具时并不选技术最优的那个 — santiviquez · 2026-11-17
- 实验发现:让模型写代码时,Opus 97% 调用自家 Claude API — santiviquez · 2026-11-17
- 同一实验:Opus 仅 10/60 回答使用搜索,GPT 模型次次都搜 — santiviquez · 2026-11-17
- 3360 次 API 推荐实验:79% 流向四大云厂商 — santiviquez · 2026-11-17
- 「当 agent 会核实宣称时,最好的产品才会赢」 — santiviquez · 2026-11-17