模型评测数据审计续：整体提升成立，MATH-500 截断错误仍存疑

kevrussell 团队对某模型评测发布文件（64,222 条标注答案）进行审计，声明未重跑模型、仅核查已发布数据，结论是宣称的提升基本成立；补丁复现也确认编辑矩阵与公开哈希逐字节一致，谄媚测试有效。但问题仍未完全解决：MATH-500 的截断错误率虽从 93% 降至 33%，修复后 400 例中仍有 20 例出现死循环。

2026-11-03 ~ 2026-11-03 · 3 条相关

• 64,222 条标注答案审计:模型评测提升数据基本吻合原始发布 — kevrussell · 2026-11-03
• 追查继续:MATH-500 截断错误从 93% 降至 33%,但 400 例中仍有 20 例死循环 — kevrussell · 2026-11-03
• GPT 模型补丁复现：谄媚测试有效，但 MATH-500 准确率仍从 93% 跌至 33% — kevrussell · 2026-11-03