Hamel Husain：eval 黄金集过时了怎么办？定期错误分析
HamelHusain · x · 2026-09-23
Hamel Husain 与 Shreya Shankar 在 AI Evals FAQ 中回答「黄金评测集过时怎么办」：
- 评测集会随产品和用户变化自然过时，应定期做错误分析发现新问题，更新样例和参考答案，复审频率取决于产品/用例变化速度
- eval 像单元测试能捕获复发问题，但维护成本远高于单测；要权衡每个 eval 的成本与信号价值——如果一直全过，说明该 eval 已无用，应退役或降频
- eval 集变化后分数不再与历史直接可比，这没关系：eval 的作用是提供可攀登的挑战，挑战应随产品演进
- 长期进度追踪建议结合产品指标（流失率、活跃用户、营收等）而非只看 eval 分数
「编程与Agent」频道最新
- Firecrawl 获 7500 万美元 B 轮融资，推出智能体知识库 Alexandria — ycombinator · 2026-09-23
- Claude Code 原生支持按成本智能路由，第三方路由插件失宠 — jasonkneen · 2026-09-23
- Minecraft 创始人 notch 认错：我开始享受 vibe coding 了 — MickeySteamboat · 2026-09-23
- AI 写码技术债暴涨,开发者开源 debt-gate 只挡新增债务 — This_Cell_1829 · 2026-09-23
- Opus 5.5 审计修复 20 万行代码库不到 3 小时,token 还省 2.5 倍 — minchoi · 2026-09-23
- Claude Code 桌面版 MCP elicitation 能力缺失:客户端声明不含该能力致服务器静默降级 — round · 2026-09-23