谷歌 agent 团队：别只看 benchmark 分数，要测离散行为防回退
ombre-ai · reddit · 2026-11-02
Google 开发者博客发布关于 coding-agent harness 评测的文章，核心论点：Terminal-Bench、DeepSWE 这类端到端基准的复合分数波动几分，无法解释原因。行为评测（behavioral evals）改为检查离散可观察动作，例如 agent 是否在模糊 prompt 上提出澄清问题、是否在宣布构建文件改动完成前先跑本地校验器。
- 评测套件的主要职责是防回退：确认 prompt 微调、工具 schema 变更或模型升级没有让 agent 整体变差
- 建议起步方式：选一个近期失败案例，为它写一条检查，并跑批量（单次运行噪声大）
- OpenAI 2026 年 2 月的 harness engineering 文章从构建侧攻击同一问题：把 agent 的挣扎当作缺失能力，将修复反哺进仓库的文档、护栏或工具
作者提出讨论问题：你把第一个失败转化成可复用检查是什么？对工具调用断言还是用 LLM-as-judge 判结果？如何处理运行间噪声？
「编程与Agent」频道最新
- 昆虫贴纸库开源:主 Agent 统筹绘制+独立审核的 AI 原生工作流 — AlchainHust · 2026-11-02
- 19 岁学生用 Claude Code 两天搭交易机器人，自称获利 75 万美元 — aftahi_ai · 2026-11-02
- 独立开发者用 Opus 5.5 六周独自做出超级英雄 MMO,消耗 30 亿 token — superpikapoo · 2026-11-02
- 博主用 Opus 5.5+Tripo 24 小时做出《原神》级动作游戏 Demo — AlchainHust · 2026-11-02
- 用 Codex 加 agent-desktop 跑月度记账,3 小时活缩到 1 小时内 — EXM7777 · 2026-11-02
- 10 天 535 次 commit:开发者用 Claude Code 打造免费俯视角提取射击游戏 — spiritosito · 2026-11-02