MaxxBench 微调 DeepSWE 任务后,12 个模型排名大幅洗牌
dbreunig · x · 2026-11-08
MaxxBench 对 DeepSWE 基准做了微小改动(如要求文件名小写、时间戳带尾缀 z),然后对比 12 个模型配置在原版与改版上的表现,发现排名明显重排:Claude Opus 5.5 从 74.2 升至 76.4 保持第一,而 DeepSeek V4 Flash 从 53.3 暴跌至 28.1,GPT-5.6 Luna 跌至 46.1。
作者 dbreunig 的三点结论:
- 对流行基准要保持怀疑,唯一重要的任务是你自己的任务。例如 Muse Spark 在两个基准上都表现平平,但在他自己的 Hermes 工作流里是极佳驱动。
- 问题不只是「基准成为目标」,而是基准里的模式会被训练进模型——模型偏好匹配基准强制的风格,流行基准实际上在暗中引导你的 agent。这既说明需要高品味的基准(为你想看到的行为设计基准),也意味着流行基准正在替你做决定。
- 图表再次印证 Claude Opus 5.5 非常强。
所属事件:MaxxBench 微调 DeepSWE 题目，同分模型拉开 23 个百分点(7 条相关)→
「模型」频道最新
- 分析 1400 次会话:Claude Opus 5.5 推理行为 11 月 3 日突变 — churchkey · 2026-11-08
- 传 Qwen4-27B 早期版仅约 35GB 即登顶实测榜,或为稀疏 MoE — teortaxesTex · 2026-11-08
- Muse token 定价曝光：2B tokens 售 35 美元 — RichardsonDx · 2026-11-08
- 同配置模型偶发摆烂:Reddit 用户记录 agent 变差客服的怪现象 — No_Dragonfruit_1599 · 2026-11-08
- DeepSeek V4 Pro 疑似灰度更新：LobeBench 硬题通过率涨 16 个百分点 — teortaxesTex · 2026-11-08
- 用户吐槽 Anthropic 月度赠送积分 30 天即过期 — arthurcolle · 2026-11-08