Δτ-Bench：工具生态持续演化下，最强模型任务成功率仅42.3%
UniversityCollegeLondon · hf · 2026-10-27
浙江大学与 UCL 团队提出可执行 agent 基准 Δτ-Bench，建模大型工具生态的结构性演化：服务独立演化会不断重塑任务完成方式——熟悉工具可能消失或被替换，更高效的替代方案在重叠功能与噪声文档中涌现。
- 基准含 1,588 个多轮任务，覆盖 42 个领域与 6 个连续演化状态，通过保持能力的变换生成。
- 评测显示，即使最强的模型或 harness 任务成功率也仅 42.3%；现有技能学习方法带来的初期提升无法随生态演化持续转化为更好的适应能力。
- 团队据此提出 Steward，一个生态管理器，在任务执行中通过增量技能维护与动态工具供给来联合管理工具与程序性知识。
论文指出，现有基准未能考察 agent「主动发现高效工具路径并及时修订积累的程序性知识」这一移动能力前沿。
「研究」频道最新
- Kevin Bryan 演示「人机共创」设计工具并谈 AI for Science 训练逻辑 — Afinetheorem · 2026-10-27
- Szegedy 感叹：训练损失的这一缺陷竟十多年无人察觉 — ChrSzegedy · 2026-10-27
- Claude 内部研究模型称自主发现反驳指数时间假设的 3-SAT 算法 — scaling01 · 2026-10-27
- 开发者惊传指数时间假设 ETH 被推翻，SAT 复杂度常识或遭颠覆 — akbirthko · 2026-10-27
- RL 环境设计长文：会操作软件不等于会达成目标 — ShenRaphael · 2026-10-27
- InfiX 联合 NVIDIA 推出 miniTE：原生 NVFP4 强化学习提速 1.39 倍 — InfiX-ai · 2026-10-27