东京大学新研究：Agent 评测 70% 无效，成本骤降一半
rohanpaul_ai · x · 2026-08-23
东京大学一项新研究指出，当前用于评估 AI Agent 的大部分测试集都是浪费资金。研究表明，测试集中超过 70% 的任务是所有版本都能通过的简单题或都做不了的难题，这些测试成本高昂但无法区分模型优劣。
为此，研究团队提出了 Task-CoEvolve 方法。该核心策略是只保留历史版本表现有分歧的任务，并每轮动态更新测试集。同时，该方法通过数学调整分数，确保使用不同测试集的轮次之间仍可比较。
在 Terminal-Bench 2.1 上的实测显示：
- 仅使用 89 个任务中的 20% 进行评估，最终分数与全量评估仅相差约 1 个任务。
- 评测成本降低 67% 到 80%，时间缩短一半。
- 相比随机挑选任务（虽更省钱但精度差 3.3 分），该方法在保持低成本的同时维持了区分度。
论文：Task-CoEvolve: Efficient Harness Optimization via Adaptive Validation Task Selection
「研究」频道最新
- Cohere Labs 世界模型公开课第 4 期：一文理清 DreamerV1-V4 架构演进 — Cohere_Labs · 2026-10-16
- GPT-6.1 审查 arXiv：6% 论文主定理有错，近两月降至 1.5% — nitarshan · 2026-10-16
- 研究：一个 just 之差就能改变 LLM 对话的走向 — StellaLisy · 2026-10-16
- SEAR 首次大规模对照研究：7 个前沿 LLM、330 项任务检验自进化机器人 — xiye_nlp · 2026-10-16
- Claude 助力连破椭圆曲线纪录后，EC Rank 挑战赛开放 156 个纪录位 — Jsevillamol · 2026-10-16
- 用超声替代胎儿 MRI，牛津团队做产前大脑 AI 建模 — AnnaCiaunica · 2026-10-16