Hamel Husain：私有评测测真实系统，10-20 个案例即可

围绕私有 eval 的讨论中，Hamel Husain 与 isidore miller 给出方法论：私有评测的重点不在「私有」，而在针对自己的真实任务，不要构建抽象代理基准，而应直接度量真实系统表现。私有 eval 同样可能有偏差和误导，不求统计显著性，关键是只建 10-20 个案例的小评测集，对每个案例做原子级的彻底精读分析，胜过依赖聚合分数。

2026-11-06 ~ 2026-11-06 · 3 条相关