MaxxBench 质疑 agent 评测可信度：“DeepSWE 分数很高，但它是真的吗？”
antiuniverse · hn · 2026-11-08
MaxxBench 发布研究，直指当前 agent/编码模型评测分数可能被夸大：'Nice DeepSWE score. But is it true?'
项目质疑那些在公开 benchmark 上亮眼的成绩是否经得起独立复现，主张用'去污染/可信'的评测方式重新检验模型真实能力。这是对刷榜文化的一次公开挑战，对依赖 benchmark 排名判断 agent 能力的开发者有直接参考意义。
「模型」频道最新
- Inkling 2 Small 采纳 Kimi 注意力残差机制,作者拆解实现细节 — akbirthko · 2026-11-13
- 爆料称 OpenAI Astra 6 或因对齐问题难产,上线遥遥无期 — haider1 · 2026-11-13
- Thinky Machines 开源 Inkling 2 Small,Apache 2.0 权重已上线 — LiTianleli · 2026-11-13
- Claude Fable 5.2 系统提示词遭泄露：95 万字符、128 个工具全曝光 — 新智元 · 2026-11-13
- LatentSpace 首测 Naive-N0.5-Flash：编程反超 DeepSeek，峰值 2100 Token/s — 量子位 · 2026-11-13
- Artificial Analysis 给 Qwen3.8-Flash-Next 打 29 分,介于两大竞品之间 — lionellee77 · 2026-11-13