私有 eval 不求统计显著：10-20 个案例逐条精读胜过聚合分数
isidoremiller · x · 2026-11-06
isidore miller 回应 eval 话题：私有 eval 同样不可避免会有偏差和误导，但应对方式不同——做一个只有 10-20 个 case 的私有评测集，原子级地彻底理解每个案例，放弃统计显著性。公开 benchmark 之所以糟糕，是因为必须做得「大」才能获得可靠的统计信号用于对比；而私有 eval 关乎你自己的品味和判断，应该把规模缩到足够小，小到根本不需要看聚合分数、直接读 transcript 即可。
所属事件:Hamel Husain：私有评测测真实系统，10-20 个案例即可(3 条相关)→
「编程与Agent」频道最新
- ElevenLabs 用 AI agent 运营公司：SDR 智能体年处理 3000+ 线索、32 种语言 — JenniferHli · 2026-11-06
- Chrome 团队发布 Modern Web Guidance:给编码 agent 注入 Web 最佳实践 skills — gaganghotra_ · 2026-11-06
- SpaceX AI 工程师拆解一人带 15 个 AI 助手：1 幕僚长、3 经理、11 执行 — JarnoDuursma · 2026-11-06
- 工程师专注时间为何越来越难保住？一文探讨重建心流 — rseroter · 2026-11-06
- SWE-bench 作者回应「刷基准」质疑：SWE 需要人在回路的新基准 — OfirPress · 2026-11-06
- 网友在 RTX 3080 Ti 上实测 Qwen 3.8 Flash，跑 Uber 需求仿真 — dreamai87 · 2026-11-06