MaxxBench:指令微调即让 DeepSWE 高分模型拉开 23 分差距
eldonredwards · x · 2026-11-09
转发 Ethan Mollick 引用的 MaxxBench 测试:对 DeepSWE 的 89 个任务仅做指令或起始代码的小改动(比如小写文件名),原本在 DeepSWE 上聚在 74% 左右的模型成绩差距被拉开到 23 个百分点,说明榜单高分未必等于真实工程能力。
配图附 Rylan Schaeffer 的讽刺论文《Pretraining on the Test Set Is All You Need》,用仅 10 万 token 基准数据预训练的 100 万参数模型 phi-CTNL 在所有学术基准上拿到满分,调侃基准污染问题。
所属事件:MaxxBench 微改 DeepSWE 题目，同分模型拉开 23 分差距(9 条相关)→
「编程与Agent」频道最新
- 开发者用 Opus 5.5 纯 Python 渲染出 3D 画面,零 3D 资产 — Eric520CC · 2026-11-09
- REA 作者开源 20+ 仓库:用 agent 搭建从 App 到二进制的逆向工程工作站 — nikola_mr64990 · 2026-11-09
- 休完假回来发现自家 agent 自己训了个数据标注小模型并本地部署 — max_paperclips · 2026-11-09
- 无头浏览器被吐槽最惊悚 tech 词汇，agent 实测检查 120 张卡片 — yuwen_lu_ · 2026-11-09
- 开源工具 edge-arm-bridge：让 AI Agent 在 ARM Linux 上以原生速度用 Edge 登录态 — unixterminal · 2026-11-09
- 开发者给 AI 编码 agent 做了块 ESP32 小屏幕，一眼看出谁在干活 — DanWahlin · 2026-11-09