Toloka 榜单：GPT-6.1 Terra 多次通过率从 72% 跌至 59%

MParakhin · x · 2026-11-01

Toloka AI Arena 发布 agentic 情景排行榜（基于 τ-bench 方法的模拟客服任务，含真实数据库、API 工具与严格业务规则），采用 pass^5 指标——同一任务 5 次独立尝试全部成功的概率。OpenAI 最新模型 GPT-6.1 Terra 仅排第 14/34，pass^5 为 59.0，而单次通过率约 72%，暴露出执行不稳定：能达到正确结果但跳过或打乱必要步骤，「演示没问题，过不了审计」。前微软 AI 负责人 Mikhail Parakhin 据此给出实践建议：模型越大、reasoning effort 越高，结果越一致，代价是更贵更慢；他自己在 critique 循环里固定跑 4 个 critic，显著降低翻车概率。