Agent 评测也做 bootstrap 吗
abcdedcbaa · reddit · 2026-07-19
帖子在问：做 agent 评测时，是否也会像 chatbot eval 一样用高量测试集 + 统计抽样。
作者的做法是先用约 70 个 golden case 评估，再通过 bootstrap / resampling 扩到约 1k+ 作为 sanity check；他想了解大家在 agent 场景里是否也这样做，以及现在常见的 agent eval / observability 标准是否已经转向更关注轨迹级指标，例如工具调用序列、推理过程和最终答案。
「编程与Agent」频道最新
- 一条 Prompt 生成完整 Blender 动画,作者全程未手动建模 — iamfakhrealam · 2026-10-26
- 用户用 Claude Code 拆解本田车机：发现 root 后门与静默装 APK — IndraVahan · 2026-10-26
- Claude Code + MCP 接 Google Maps/Apollo/LinkedIn，搭年省万美元的获客引擎 — aryanXmahajan · 2026-10-26
- Karpathy 公布 CLAUDE.md 十条军规，治 AI 编码技术债 — mdancho84 · 2026-10-26
- Agent 时代依赖取舍新标准：省 20 行代码就别引库 — gethackteam · 2026-10-26
- 纯 Rust 开源 GIS 两周狂揽 2000 星，架构为 AI Agent 而生 — giswqs · 2026-10-26