研究揭示终端任务基准深度虚高：轮数只反映模型习惯，DEPTH 按依赖深度合成更难任务
Yu Jiang · hf · 2026-11-04
Notre Dame、IBM Research、CMU 等机构论文检视长程终端（terminal）任务基准的「深度」问题。
- 发现：现有合成方法用模型完成任务的轮数衡量任务长度、用生成时 LLM 设的标签衡量难度，但轮数很大程度只反映模型习惯而非任务本身需求，标签也几乎不能预测通过率
- DEPTH 框架：用「顺序依赖深度」而非轮数来度量与合成任务，生成出真正更难的 benchmark
- 用这些更难任务做 agent 微调能带来提升
对 agent 评测与训练数据合成都有方法论启示。
「编程与Agent」频道最新
- 腾讯 Hy4 智能体自训小模型超越官方基线,称迈向递归自我改进 — heyshrutimishra · 2026-11-04
- Butterfly 工具用图数据库回溯多智能体故障,定位准确率达 62.5% — JeremyCMorgan · 2026-11-04
- NatWest 演讲:AI Agent 好写难验,83% 通过率掩盖 54 分差距 — AI Engineer · 2026-11-04
- 免费课程：生成式媒体 Agent 的四大生产难题与解法 — Al_Grigor · 2026-11-04
- 额度重置夜：Codex 恢复 100%，Claude 仅剩 10% — rudrank · 2026-11-04
- 自我改进软件不可避免：让应用读取自身信号并自动修复 — bibryam · 2026-11-04