Taste-Bench 论文：最强模型也错四成长任务决策，更长思考没用
alex_verem · x · 2026-09-24
微软与香港城市大学的论文《The Tasteful Agent》提出：长任务成败取决于 agent 在"分叉点"上的选择能力，作者称之为"品味"(taste)。
Taste-Bench 基准
- 从 2,677 个编码运行与 1,132 个研究运行中自动挖掘决策分叉：4,657 个候选中筛出 502 道题，人工审核与标注一致率 98.8%，无需人工标注。
- 14 个前沿模型参加，选项顺序调换均需答对方计分（瞎猜 25%）。
关键发现
- 最好的 GPT-5.6 Sol 仅 59.7%，每十次关键抉择仍错约四次。
- 决定性线索在已见上下文中时模型平均 62.3%；线索要靠后续工作才能显现时暴跌到 21%，低于瞎猜——而长任务恰恰由后者构成。
- 加大思考时间无效：两个模型在三个推理档位下均无提升，且最多的 token 恰恰烧在错得最多的分叉上。
可训练
用 27B 开源 Qwen3.6 学习历史分叉的结局，未见任务准确率提升 17.9 个百分点；给编码 agent 在 41 道 SWE-bench Pro 任务前提供"品味"建议，成功率从 14.6% 翻倍到 33.7%（完美建议上限 39%）。
结论直指"更大模型+更长思考"的卖点：在决定长任务生死的决策上，更长思考改变不了什么。
所属事件:微软发布 Taste-Bench：最强模型长程决策也仅及格(2 条相关)→
「编程与Agent」频道最新
- 两人小公司用 46 个 AI Agent 运营：审批门禁、哈希锁文件与翻车复盘 — dkovl · 2026-11-12
- LlamaIndex 让 AI Agent 渗透测试自家 LlamaParse，四天暴露四条经验 — llama_index · 2026-11-12
- Manhattan 字体 v0.0.1：每个字母都是一个 Python 函数 — allanyu_ · 2026-11-12
- 用 Backplane「提示词造出」任意扩展卡,网友呼吁扩展口回归标配 — _Stocko_ · 2026-11-12
- Agent 会话跑了 51 分钟烧 24.8 万 token,网友直呼还在干活 — _Stocko_ · 2026-11-12
- 可视化 AI Agent 团队协作：每个 Agent 一间「房间」，共享知识库 — LiorAloni11 · 2026-11-12