64,222 条标注答案审计:模型评测提升数据基本吻合原始发布
kevrussell · x · 2026-11-03
kevrussell 团队公布对某模型发布评测文件的审计与探索性分析。说明范围:没有重新跑模型,也不是「谎言检测」,只是对已发布文件加数据的核查。
结论:宣称的提升成立。从 64,222 条标注答案中核对出 46 项结果与原帖一致:
- MATH-500:7.90% → 48.10%
- GSM8K:13.84% → 67.10%
- IFEval:20.98% → 62.29%
所属事件:模型评测数据审计续：整体提升成立，MATH-500 截断错误仍存疑(3 条相关)→
「模型」频道最新
- LFM3-1.7B 量化实测:3.6 GB 显存近无损,2.2 GB 轻度降质 — crusaderky · 2026-11-03
- 观点：手调任务型小模型将是 AI 变现主力，大模型负责编排集成 — basedjensen · 2026-11-03
- gradient descent 终局论：万亿 token 后模型自己成了优化器 — DimitrisPapail · 2026-11-03
- Particle 模型首进数据分析 Pareto 前沿，击败 Haiku 5.5 — ycombinator · 2026-11-03
- ML4 开放权重发布：代码 Agent 与网络安全能力达前沿，三周内大幅压缩提效 — _AndrewZhao · 2026-11-03
- OpenRouter 数据:重度用户中位数已用 6 个模型家族,一年翻倍 — sarahookr · 2026-11-03