作者跑 3360 次实验:测 AI agent 到底会不会选对产品

santiviquez · x · 2026-11-17

Santiago Víquez 做了一项 3360 次运行的大规模实验,检验当今 agent 能否为任务推荐正确产品。他选取文档处理 API 这一竞争激烈的赛道(Microsoft/Google/AWS 大厂、Reducto/Extend/LlamaParse 创业公司、Anthropic/OpenAI/Mistral 实验室同场竞技),设计了 10 个使用场景(财务表格、法律合同、发票、收据、纸质表单等),每个场景写 4-5 种不同问法的 prompt——有的直接要推荐、有的从问题描述切入、有的让模型直接写实现代码——统计哪家厂商被 AI 选中。

核心动机是他的判断:当 agent 成为新的买家,产品营销将随之改变,有可验证声明的产品会胜出。这篇是其实验结果报告。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →