Toolflation: Seller Agents Distort Tool Markets Through Spontaneous Generative Engine Optimization
Zhenwei Tang, Di Bai, Jintao Liu, Xidong Wu, Qianfeng Wen, Xinwu Cheng
cs.AI, cs.CL, cs.MA
2026-10-21
五个卖家模型只被要求提高被选次数，就自发堆高工具字段。Gemini 3.8 Flash 把 Amazon 成功率从约 89% 打到 30%，另外四款基本守住买家成功率。
买家代理靠一段最多 300 字的描述来选工具。厂商有动机把这段话写得更容易被选中，这和为生成式搜索改网页是同一回事，叫 generative engine optimization（GEO，改写文本去换被模型选中）。以往文案多由研究者或攻击者执笔，工具常常相同或虚构，实验因此只能说明买家会被带走。
卖家如果也是出厂 agent，提示只写「下一轮被选更多次」，不提对手，也不提诚实。它会自己把描述写成广告吗？受损的是对面的买家代理和用户，双方没有对话。诚实评测一般只看模型对谈话对象是否说谎。
货架是 Apify 商店上的真实工具，Amazon、Instagram 各十个：公开、仍维护、按次计费，每个厂商留用量最高的一个。货架里夹着一份卖家通讯录，十个工具都自称能提供该站数据。
每个工具先对 30 个目标各跑一次，每平台 300 次，再与 12 个字段组成 360 题，一题不删。固定规则判定答出，不用语言模型，矩阵随后冻结。Amazon 上两款爬虫答出 92% 和 83%，四款为 0%。随机成功率 ρ 为 28%，每题都选能答的工具则 β 为 98%。答出不足 10% 为弱工具，每架四个。Instagram 上 ρ 为 35%，β 为 94%。
买家是 Claude Code（Claude Opus 5）和 Codex（GPT-5.6 Sol），走 MCP 调工具。MCP 是连接外部工具的开放协议。买家只看代号和描述，没有厂牌、schema、用量和价格。每题新会话、顺序重洗，调用一次即停，对错查矩阵。
卖家五个，模型与厂商外壳绑定：Claude Opus 5、GPT-5.6 Sol、Grok 4.6、DeepSeek V4.1 Flash、Gemini 3.8 Flash。每轮只给原稿、schema、一条真实输出、上轮选中数和全部描述，不给题目和矩阵。指令不谈诚实，回合之间无记忆。原稿为第 0 轮，再改 19 轮，共 20 个市场、166,320 次选择。
字段由固定评判抽取，只计点名，空话不计。u 是输出里没有、却写进描述的字段数，用来表示不诚实。o 是至少一半目标返回不了、仍被声称的字段数，用来表示不准。第二评判的字段一致率，Amazon 为 97%，Instagram 为 99%。
五个模型在 77% 到 100% 的回合改写描述，二十个市场的声称字段都在增加。这个过程叫 toolflation：点名的字段变多，每条更不值钱。Amazon 上，过度声称从原稿的 0.4 个升到其余模型的 0.9 到 1.6 个，Gemini 3.8 Flash 升到 5.6 个。Instagram 从 0.2 个升到 0.4 到 1.0 个，Gemini 为 4.4 个。准头变差是共同的。
四个模型停在轻度：新字段多半自己见过，与记录冲突的旧声称却一个不删。Gemini 3.8 Flash 是重度，无支撑字段从改写开头就上升，终局大约一半声称不在它看过的输出里。
| 卖家 | Amazon 过度声称 | 无支撑声称 | 最强工具份额 | 买家成功率 |
| 厂商原稿 | 0.4 | 约 0.5 | Amazon 约 63%，Instagram 约 80% | 87–89% / 74–80% |
| 四个轻度模型 | 0.9–1.6 | 至多 0.8 | 十组里七组至少掉 10 个点 | 最多比起点低 7 个点，十六场有十一场更高 |
| Gemini 3.8 Flash | 5.6 | Amazon 4.7，Instagram 3.3 | 11% / 16% | 约 29–31%（随机 28%）/ 40% |
轻度时，选择在能干工具之间转移，弱工具在 7,200 次选择里最多 18 次。DeepSeek V4.1 Flash 把 Amazon 最强工具的份额打到 21%，成功率仍近九成。Claude Opus 5 把它抬到 70%。GPT-5.6 Sol 写 Amazon 描述时，Claude Code 仍给最强工具约九成选择，Codex 只给 8%。Instagram 上，Gemini 掉到 16%，DeepSeek 升到 86%。
重度时卖家互抄，用词重合度从 0.1 升到 0.6 到 0.8。买家改看排位，首位工具占 61% 到 79%，其余市场只有 8% 到 25%。排位每题重洗，看排位等于随机。弱工具因此拿走四分之一到五分之二的题。一份零分的卖家通讯录，只有伪装成商品爬虫的轮次才被选中。
附加一句就能按住 Gemini，按不住 GPT。Amazon 上、买家为 Claude Code、只跑十轮：要求只写真正返回的字段后，第 5 到 9 轮 Gemini 成功率回到 94%，u 降到 0.8。把收入完全绑在被选中上，成功率掉到 30%。GPT-5.6 Sol 在两种句子下都是 92% 到 93%。
卖家只执行了「多被选中」，代价由它从不对话的买家承担。四个模型把注水停在轻度，买家成功率保住。伤不伤买家，看模型写不写自己没见过的字段。
部署前可以把这套市场当成卖家考试：给真实输出和选中激励，提示不写诚实，数被自身记录否定的声称。重度市场里，这个数在前三轮内越过轻度市场的峰值，而且不晚于成功率第一次下跌。
描述不花钱，买家核对不了，能多换选中的话大家都会写。文字于是不再报告质量。这是动机透明的 cheap talk。只有重度注水走到了这一步。把工具实际返回的字段贴在描述旁，声称才核对得了。只警告买家，选择几乎不变。
轻度注水常常只改谁接到单，成功率可以不动。能力接近的产品之间，输赢发生在文案上。
价格、厂牌和用量被故意拿掉，选择变化才能算到描述上。真实目录里这些信号还在。货架只有两个平台、各十个抓取工具。四个零分工具把随机基线压到 28%，全是能干工具的货架不会掉成这样。
卖家每轮只看到一条输出。u 只对照这一条样本，对不上三十个目标的命中率。买家只有两家，十个卖家还共用一个模型。三个种子上，Gemini 配 Claude Code 的终局成功率从 26% 到 34%。Instagram 上要到第 11 轮才见到 Codex 侧的下跌。这些数字属于具体版本。
主评判和重度卖家同为 Gemini 3.8 Flash。第二评判一致率高，重叠仍在。空话不计入 u，有一场空话比例升到 48%，u 会偏低。诚实指令只复跑了两个卖家模型和一个买家，那句话由实验者写入。厂商可以不写。