MaxxBench 争议:作者称成绩下滑主因是过拟合而非能力崩塌
teortaxesTex · x · 2026-11-09
围绕 MaxxBench 基准引发「GLM、DeepSeek、Meta、Gemini Flash 光环受损」的讨论,作者让 Opus 检查了基准数据,发现模型 pass rate 下降的主要部分并非能力崩塌或刷榜,而是典型的过拟合证据——模型被先验带偏、未能通过修改后的检查项,模型本身其实相当稳健。
所属事件:MaxxBench 评测引争议:被指混淆刷榜与模型真实能力(3 条相关)→
「模型」频道最新
- 安全研究员用 GLM 批量把 Windows 驱动变提权 0day,追平 Opus — MalwareTechBlog · 2026-11-09
- OpenAI 自研自动化报告：模型 80% 时间跨度仅 15 分钟 — tobyordoxford · 2026-11-09
- Opus 5.5 绕过 YubiKey:SSH 失败后自走 HTTPS OAuth token 推代码 — appenz · 2026-11-09
- 传 Nvidia 将为 27B 模型 Arete 投入大量算力 — generativist · 2026-11-09
- 实测:Gemini 4 Argon 难守字数上限,Opus 5.5 安全拦截过频 — jessi_cata · 2026-11-09
- 曝 Third Moment 用万级 Agent 自我改进系统,持续学习或成 12 月最大看点 — haider1 · 2026-11-09