微软发布 Taste-Bench:最强模型长程决策判断力仅 59.7%
microsoft · hf · 2026-09-23
微软提出「品味(taste)」概念:智能体在长周期任务中的关键分叉决策——比如选哪条假设去验证、在哪个实现上继续构建——决定整个任务的成败,但现有 benchmark 都只测端到端成功率,不测这种决策能力。
Taste-Bench 的做法
- 从智能体在工程与研究任务中的轨迹自动挖掘「决策分叉」:同一任务多次并行尝试、以及单条轨迹中的绕路,无需人工标注
- 每道题给出分叉点上的多个方向,其中一个导向更好结果,被测模型在不看到后续结果的情况下选择
主要发现
- 最强前沿模型正确率仅 59.7%
- 决定性证据出现在轨迹后段的分叉对所有模型都更难
- 增大推理预算并不能提升准确率
可训练:把「看过结果」的教师模型的判断蒸馏进学生模型后,学生在未见过的任务上决策更好,并在 held-out 的 SWE-bench Pro 上提升端到端成功率。
所属事件:微软发布 Taste-Bench：最强模型长程决策也仅及格(2 条相关)→
「编程与Agent」频道最新
- Plurai 推出 Agent 仿真平台：从代码库构建数字孪生自动找故障 — thisguyknowsai · 2026-11-11
- 0xJeff:x402 的真正短板在企业级,大钱在 B2V 而非机器互付 — 0xJeff · 2026-11-11
- 开发者自建 git 网页应用被 Codex 安全护栏误判为网络安全风险 — brianmichel · 2026-11-11
- 形式化验证让 AI 编码更快：Lean 证明成为 agent 优化护栏 — bigdata · 2026-11-11
- Orchestrator v0.14.11 发布：统一管理散落各处的 AI 编程会话 — julianweisser · 2026-11-11
- DeepSeek 开源编码 agent DSH 登上 HF Harness 榜，五项评测并列第一 — TheZachMueller · 2026-11-11