作者跑 3360 次实验:测 AI agent 到底会不会选对产品
santiviquez · x · 2026-11-17
Santiago Víquez 做了一项 3360 次运行的大规模实验,检验当今 agent 能否为任务推荐正确产品。他选取文档处理 API 这一竞争激烈的赛道(Microsoft/Google/AWS 大厂、Reducto/Extend/LlamaParse 创业公司、Anthropic/OpenAI/Mistral 实验室同场竞技),设计了 10 个使用场景(财务表格、法律合同、发票、收据、纸质表单等),每个场景写 4-5 种不同问法的 prompt——有的直接要推荐、有的从问题描述切入、有的让模型直接写实现代码——统计哪家厂商被 AI 选中。
核心动机是他的判断:当 agent 成为新的买家,产品营销将随之改变,有可验证声明的产品会胜出。这篇是其实验结果报告。
「编程与Agent」频道最新
- UCLA与AWS论文:AI Agent解数学题靠找捷径,思考耗时常抵消收益 — rohanpaul_ai · 2026-11-17
- 像素画 + 高斯泼溅做游戏火了:纯代码无资产也能跑起来 — algo_diver · 2026-11-17
- Fable 5.2 被赞首个会忽略不重要反馈的模型:劝用户「别加新功能,先做完」 — neuroecology · 2026-11-17
- OpenAI 的 jxnlco 谈品味修炼:「想吃出好品味,就得先吃」 — jxnlco · 2026-11-17
- Together 与 Ollama 详解:prefix caching 如何让长 Agent 会话不越跑越慢 — togethercompute · 2026-11-17
- 用 MiniMax H3 在 ComfyUI 复刻《教父》办公室名场面,3 镜头 37 秒 — hucun16 · 2026-11-17