便宜模型跑 Agent 反而更贵:线性往返堆爆上下文窗口

vasuman · x · 2026-10-27

jdpruettt 指出一个反直觉的成本现象:在 agent 框架里运行「便宜」模型,总成本常常反而高于前沿模型。

核心原因在于:经 RL 后训练、带有简洁性惩罚的前沿模型会激进地使用并行工具调用,把多个步骤合并成批处理;而较弱的模型只能串行执行,每一步都要多跑一轮往返,几十次循环下来不断撑大上下文窗口。

因此你付的钱不只是每 token 的智能水平,还包括模型「把多轮折叠成一轮」的能力。作者认为这并非无解,但在为 agent 选更便宜模型时值得记住这笔账。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →