前天文学家谈 Agent 评测：仅换 harness 成绩就差 30%
AI Engineer · youtube · 2026-10-23
AI Engineer 频道访谈 Omni Analytics 的 Stephanie Jarmak（前天文学家，曾在 Sourcegraph 搭建大型编码 benchmark），主题是如何用科学家思维做 agent 评测。
核心观点：
- harness 决定结果：只换评测框架，同一模型成绩可波动 30%，公开 benchmark 只能用于初筛，不能作为决策依据。
- 像设计实验一样设计 eval：贴近真实任务、多次重复运行、保留完整 trace、度量指标要匹配你真正在意的目标。
- 质量控制门：真正能叫停工作的 quality gates、人工审核瓶颈、agent 自述记录不可信等问题，以及为何生产环境才是最终测试、何时该升级到人工。
「编程与Agent」频道最新
- Reddit 开发者求问：如何防止 Agent 提示词越改越退化 — SleepFlimsy6963 · 2026-10-23
- 接付费商单该用什么模型?Reddit 创作者晒 Claude Code+ComfyUI 工作流 — newaccount47 · 2026-10-23
- 社科学者批 AI 圈：把 Agent 开发当会自动变好的黑箱 — RexDouglass · 2026-10-23
- 网友 vibe coding 出 Tesla Roadster 小游戏，赶在 GTA VI 之前 — Jasonio · 2026-10-23
- Codex CLI 0.164.0 报 account/read 错误，重启 daemon 可解 — bytebot · 2026-10-23
- 同为原生 UI:Swift 版 80MB 仅限 Mac,Zig 版 10MB 三端通吃 — jedisct1 · 2026-10-23