为何「全通过率」是个糟糕的评测指标？
xeophon · x · 2026-08-21
作者批评「全通过率」(Full Pass Rate)作为评测指标存在缺陷：主要用于压低分数，难以反映实际进展，且要求评分器完美无缺。作者表示从未见过没有任何评分器错误的完美评测。
「模型」频道最新
- 商汤开源 SenseNova U1.5 Lite：8B 参数支持原生 4K 生成与精准图像编辑 — aftahi_ai · 2026-08-21
- 用户吐槽 GPT-5.3-Codex-Spark 20 分钟耗尽 Pro 订阅额度 — nijfranck · 2026-08-21
- Gemini 3.7 Flash 登 ARC-AGI-2 达 84.6%，每任务仅 0.25 美元 — fofrAI · 2026-08-21
- 马斯克确认：团队正致力于提升 Grok 的写作技能 — mark_k · 2026-08-21
- ARC Prize 上线模型对比功能，Gemini 3.7 Flash 曝光高分 — mhmazur · 2026-08-21
- Anthropic Fable 放宽过滤后刷新 RareBench 记录 — danielmckinn0n · 2026-08-21