Hamel Husain抽查主流AI基准：质量普遍糟糕

知名ML工程师Hamel Husain发帖质疑行业对公开基准的过度依赖，称其依赖程度与基准质量严重不匹配。他推荐Epoch AI的独立基准审查站点，并指出Terminal-Bench等四大常用基准均被判存在缺陷。他逐一核查过的AI基准平均质量出乎意料地糟糕，因此对所有基准持怀疑态度，主张亲自跑一遍来验证。讨论中Hanchung Lee还指出，不少基准质量低下的根源在于验证器太烂，有些题目难并非任务本身难。

2026-10-26 ~ 2026-10-26 · 3 条相关

• Hamel Husain质疑主流基准质量：Terminal-Bench等四大基准均被判Flawed — HamelHusain · 2026-10-26
• Hamel Husain 转发观点：不少 benchmark 质量差，难点出在验证器太烂 — HamelHusain · 2026-10-26
• Hamel Husain：抽查多款 AI 基准后发现平均质量惊人地差 — HamelHusain · 2026-10-26