作者修正 LM Evaluation Harness 中 Math Verify Score 计算错误，呼吁重跑旧论文分数
RylanSchaeffer · x · 2026-10-15
Schaeffer 污染研究 thread 的第 8/8 条：团队在 LM Evaluation Harness 中发现并修复了 Math Verify Score 的计算错误。
作者提醒：2026 年 1 月之前报告的任何使用该指标的论文分数都可能不准，应该重跑。这对依赖 LM Evaluation Harness 的开源评测生态有直接影响，也侧面印证其“评测基础设施比想象中脆弱”的论文主旨。
所属事件:测试集污染研究遭 NeurIPS 拒稿引热议(4 条相关)→
「研究」频道最新
- Meta 用 Muse 构建 AI 科研脚手架,可访问 500 万份电子病历 — _jasonwei · 2026-10-15
- AlphaNIST 单策略通关 20 项 NIST 装配任务,仿真成功率 98.2% — hbouammar · 2026-10-15
- Depth Memory 框架提出线性深度记忆,在 DepthBench 上表现亮眼 — SonglinYang4 · 2026-10-15
- 曼彻斯特大学神经场优化混合制造，GE-Bracket 估算制造时间省 68.3% — jiqizhixin · 2026-10-15
- Tev-Gym 发布：1170 个长程 RL 环境练出比肩前沿的 agent — RulinShao · 2026-10-15
- Claude 逐点拆解 EDAR-硒缺陷假说：拼凑事实加推测不成立 — teortaxesTex · 2026-10-15