20 个冻结任务就够了：Reddit 实用指南教你评估 Agent 是否真的变好
ChefOk4636 · reddit · 2026-11-14
一篇 Reddit 长帖提出：判断 agent 是否真的改进，不需要公开 benchmark，一个小的冻结评测集就足够。
做法要点
- 从真实工作流中挑约 20 个任务（不要编造 demo），每个写清输入、允许使用的工具、明确的完成定义
- 加入几个 agent 应当拒绝或安全失败的任务
- 冻结集合，不为新 prompt 而改任务；每次改动 prompt/工具/模型/脚手架后都跑同一套
- 保留 trace，只打少量真正重要的分：任务是否真完成、是否越权操作、该停时是否求助人类、耗时与花费
核心观点：若某项改动让部分任务变好却悄悄破坏其他任务，冻结集能立刻暴露。如果连 20 个真实任务都写不出来，说明 agent 还不具备无人值守运行的条件。作者强调评测集不能替代沙箱、密钥管理和预算上限，这些必须在模型之外。
「编程与Agent」频道最新
- Metabase MCP Server 开源:33 个工具让 LLM 直查仪表盘与 SQL — modelcontextprotocol · 2026-11-14
- Harbor 推出 rollout server:给 AI 智能体任务补上控制平面 — WalterReade · 2026-11-14
- Semgrep CEO：前沿模型能写漏洞利用，AI 安全防线要靠沙箱和钩子 — blaizedsouza · 2026-11-14
- fofrAI 用 Carbon agents 为自定义 VFX 工具注入逼真人体运动 — fofrAI · 2026-11-14
- 论文宣称「Harness 工程终结」：让循环自动改写 agent 框架，人类只留考卷 — blaizedsouza · 2026-11-14
- Salnate 给 AI teammate 集成凭证管理，可共享或独立配置登录 — inductionheads · 2026-11-14