MaxxBench：微改任务格式，编码 Agent 成绩骤差 23 分
MFarajtabar · x · 2026-11-15
notesbydev 发布 MaxxBench 研究线索：六种编码 agent 配置在 DeepSWE 基准上得分相差不到 1.5 分（约 74%），但仅对任务做微小改动（如文件名改小写、要求 UTC 时间戳）后，分差拉开到 23 分。
该研究呼应一系列此前工作，指出基准分数混合了两种因素：你真正关心的能力，以及与特定任务格式的契合度。作者进一步讨论了这对基于分数选型、构建和监管模型的人意味着什么。
「编程与Agent」频道最新
- DeepMind 工程师让 Gemini 4 Carbon 无限烧 token:自己定位闯祸 PR 并找到合并人 — thursdai_pod · 2026-11-15
- 受够 Claude Code 封号焦虑？博主推荐 Factory.ai 等海外替代工具 — vista8 · 2026-11-15
- omarsar0:没有「评估工厂」就没有「软件工厂」,Agent 自动化缺 eval 全是无效代码 — omarsar0 · 2026-11-15
- Reddit 网友吐槽：Codex 会话一多就彻底管不过来 — Excellent-Wheel7769 · 2026-11-15
- Anthropic:老式提示词习惯拖慢 Opus 5.5,弃用「think hard」改从 Medium 档起步 — The Decoder · 2026-11-15
- DSPy 通过调优提升 LLM 性能：优化提示词与权重的秘诀 — mdancho84 · 2026-11-15