追查继续:MATH-500 截断错误从 93% 降至 33%,但 400 例中仍有 20 例死循环
kevrussell · x · 2026-11-03
kevrussell 继续发布对某模型评测数据的审计进展:修复后的编辑版能逐字节重建,两个编辑矩阵均与公布哈希完全一致。
结果方面仍有失败案例:MATH-500 的截断错误率从 93.0% 大幅降至 33.05%,是明显改善,但循环问题并未消失——抽查的 400 个答案中有 20 个以 10 万个以上空白字符结尾,且这 20 个全部是错误答案。
所属事件:模型评测数据审计续：整体提升成立，MATH-500 截断错误仍存疑(3 条相关)→
「模型」频道最新
- LFM3-1.7B 量化实测:3.6 GB 显存近无损,2.2 GB 轻度降质 — crusaderky · 2026-11-03
- 观点：手调任务型小模型将是 AI 变现主力，大模型负责编排集成 — basedjensen · 2026-11-03
- gradient descent 终局论：万亿 token 后模型自己成了优化器 — DimitrisPapail · 2026-11-03
- Particle 模型首进数据分析 Pareto 前沿，击败 Haiku 5.5 — ycombinator · 2026-11-03
- ML4 开放权重发布：代码 Agent 与网络安全能力达前沿，三周内大幅压缩提效 — _AndrewZhao · 2026-11-03
- OpenRouter 数据:重度用户中位数已用 6 个模型家族,一年翻倍 — sarahookr · 2026-11-03