Hamel Husain：私有 eval 只需 10-20 个案例，原子级吃透即可
HamelHusain · x · 2026-11-06
Hamel Husain 与 isidoremiller 讨论 eval 的可信度时给出具体方法论：私有 eval 确实也可能又烂又误导，关键做法是构建一个只有 1020 个案例的私有测试集，并对其做原子级（atomic level）的深度理解，放弃统计显著性。
他认为公共 benchmark 之所以垃圾，是因为必须靠「大」才能获得统计可靠性和说服力，但这与工程决策需要的洞察无关——小而透彻的真实系统测试集比大而抽象的基准更有用。
所属事件:Hamel Husain：私有评测测真实系统，10-20 个案例即可(3 条相关)→
「编程与Agent」频道最新
- YC 总裁实测 Capy：子智能体协同让 PR 产出暴涨 13 倍 — garrytan · 2026-11-06
- GitHub Copilot 全景：跨仓库任务、并行 agent 与桌面客户端 — 0xkarasy · 2026-11-06
- Stripe 开放 MCP:用自然语言让 Claude/Cursor 直接查账出报表 — emilygsands · 2026-11-06
- Stripe 开放 MCP 数据接入：用大白话查询、看板与财报分析 — emilygsands · 2026-11-06
- Stripe 正式开放 MCP：Claude、Cursor 可直连企业 Stripe 数据 — emilygsands · 2026-11-06
- 作者自用一年后开源 Intent:用工作区而非聊天线程来写代码 — Wattenberger · 2026-11-06