基准审计：6 个 AI 基准 5 个有评分缺陷，仅 PostTrainBench 通过验证
maksym_andr · x · 2026-11-10
Open Benchmark Review（OBR）发布对多个 AI 基准的审计：在已核查的基准中，仅 PostTrainBench 通过——其 24 个任务未发现影响分数的评分错误，未标记的最佳运行中也无 reward hack。其余基准存在大量确认的评分缺陷：HackBench 缺陷率 63.3%、AI4AI-Bench 40%、DeepRSI 与 FrontierML 各 33.3%、FrontierCS 2 31.2%（缺陷阈值 20%）。这提示许多热门基准的分数可靠性存疑。
「模型」频道最新
- 用户实测：复刻 Fable 5.2 提示词花 2 小时，Fable 原 prompt 10 分钟即成 — teortaxesTex · 2026-11-10
- NVIDIA 专家:只看价目表选模型会算错账,token 效率才是关键 — togethercompute · 2026-11-10
- Vals AI 实测：Claude Fable 5.2 的 high 档推理整体最佳，max 反而最差 — airesearch12 · 2026-11-10
- 一个 prompt 生成完整手机游戏：Fable 5.2 演示 Slingsong — AIandDesign · 2026-11-10
- 用户吐槽 Fable 5.2：45 分钟压缩会话三次、极慢且抗拒干活 — ersatzben · 2026-11-10
- Claude 攻克 23 年未解的黑洞理论物理难题,结果成预印本 — claudeai · 2026-11-10