TraceTrial-Bench：31.1% 的 Agent 任务成功却违反 harness 标准
_akhaliq · x · 2026-10-28
新基准 TraceTrial-Bench 将 agent 的任务表现与 harness 可靠性分开打分：覆盖 95 个任务、7 个维度、4 种 harness × 9 个模型，共 3,420 次运行。
核心发现：31.1% 的运行通过了 agent 标准，却至少违反一条 harness 标准——任务成功不代表 harness 工作正常。基准基于原生 trace、工作区产物与环境状态做证据式评估，失败归因需经证据审查才能确认传播链。
「编程与Agent」频道最新
- GitHub Spec Kit 主推规格驱动开发：5 条命令让 AI 编码先规划后动手 — Arindam_1729 · 2026-10-28
- LangChain 详解设计 Agent 构建：品味来自上下文而非模型 — LangChain · 2026-10-28
- 开发者感慨：五年后回看今天满屏的终端与 Agent 标签页会有多荒诞 — DavidWells · 2026-10-28
- 团队逆向工程 Claude Code 记忆机制：实现简单但有隐患 — letandrewcook · 2026-10-28
- 多模态 GraphRAG 处理飓风损毁评估:连缺失与矛盾证据也能建模 — JeremyCMorgan · 2026-10-28
- vibe coding 亲历:个人项目 20 小时工作量压缩到 2 小时 — gleech · 2026-10-28