MaxxBench:89 道 DeepSWE 任务稍加改动,模型成绩差距拉开 23 个百分点
RexDouglass · x · 2026-11-08
loresjpg 发布 MaxxBench:对 89 道 DeepSWE 编码任务做微小改动(改指令或起始代码),考察模型是「擅长编码」还是「擅长刷 DeepSWE」。示例改动包括:要求测试报告文件名全小写(Chrome.xml → chrome.xml)、把 FastAPI 路由时间戳从保留时区偏移改为 UTC 尾缀 Z。
- DeepSWE 上挤在 74% 附近的模型群,在 MaxxBench 上拉开最多 23 个百分点的差距
- deedydas 转评:唯一在小改动后得分不降反升的模型是 Opus 5.5
- 结论:多数模型「severely benchmaxxed」,即对基准任务过拟合,泛化工程能力存疑
所属事件:MaxxBench曝光刷榜：改写DeepSWE任务成绩骤降23个百分点(4 条相关)→
「编程与Agent」频道最新
- 开源工具 satmux 让机舱 Wi-Fi 提速 4 倍,月成本仅几美元 — steipete · 2026-11-08
- 开源 IV Studio 1.0 发布：本地驱动 ComfyUI 的免费 AI 制片工作室 — itsVariance · 2026-11-08
- 开发者参照 Anthropic wiki 记忆方案，为 agent 集群搭研究 wiki 系统 — teortaxesTex · 2026-11-08
- 纳德拉:Agent 时代商业应用将集体崩塌,只剩数据库 — _AustinCalvert_ · 2026-11-08
- Reddit 开发者求摆脱 Claude 依赖：LLM agnostic 的 agent 栈怎么搭 — DataBeek · 2026-11-08
- RL 环境创业被看好:做金融知识工作,Anthropic 已推 Claude 金融服务包 — himanshustwts · 2026-11-08