MaxxBench：DeepSWE 高分模型换个文件名大小写就现原形
xeophon · x · 2026-11-08
新基准 MaxxBench 将 DeepSWE 的 89 个编码任务仅对指令或起始代码做微小改动（如文件名改成小写）。结果原本成绩聚集在约 74% 的各模型，最大差距拉开到 23 个百分点，说明许多模型只是「擅长刷 DeepSWE」而非真正擅长编码。该基准意在检验模型对琐碎工程约束的鲁棒性，转发者称其为「midwit 检测器」。
所属事件:MaxxBench 微调 DeepSWE 题目，同分模型拉开 23 个百分点(7 条相关)→
「模型」频道最新
- Muse token 定价曝光：2B tokens 售 35 美元 — RichardsonDx · 2026-11-08
- 同配置模型偶发摆烂:Reddit 用户记录 agent 变差客服的怪现象 — No_Dragonfruit_1599 · 2026-11-08
- DeepSeek V4 Pro 疑似灰度更新：LobeBench 硬题通过率涨 16 个百分点 — teortaxesTex · 2026-11-08
- 用户吐槽 Anthropic 月度赠送积分 30 天即过期 — arthurcolle · 2026-11-08
- 开发者吐槽 Anthropic:今年 2 月就有人宣称编码已被解决 — kuza55 · 2026-11-08
- 网友批 DeepSeek 1017「重度刷榜」，手感远逊前沿模型 — teortaxesTex · 2026-11-08