评论指 AI 基准用已知失败案例构建，26.4% 只是难例率
tallmetommy · x · 2026-11-12
一位开发者在回复 Gary Marcus 时指出某项 AI 能力基准测试的方法问题：该基准刻意选取了用户需要改写或回退的任务，即从已知失败案例中构建测试集，因此 26.4% 是"难例比例"而非行业的整体失败率。
他还提到一个更值得玩味的发现：同一模型在不同 harness 下得分差异巨大，从 75% 到 56% 不等，说明评测框架本身对结果影响显著。
「模型」频道最新
- 用户晒出 Anthropic 赠送 4 次免费额度重置：1 次全量加 3 次 Fable 重置 — zsakib_ · 2026-11-12
- KRAFTON Raon-1 Nano 3.1B 获 ik_llama.cpp 原生支持,MTP 投机解码提速 17% — Any_Bus9205 · 2026-11-12
- 推理 token 越多解难题越强?复杂度论文遭质疑:分布系统别当图灵机用 — gerardsans · 2026-11-12
- Ben's Bites 速报：Anthropic 把办公软件搬进 Claude，Gemini 4 Carbon 上线 — Ben's Bites · 2026-11-12
- Unsloth 新量化让本地 Qwen Flash Next 跑出接近 Qwen4 的效果 — danielhanchen · 2026-11-12
- 开源目标检测新选择：RF-DETR Large 仅 34M 参数 — TheZachMueller · 2026-11-12