DeepSWE 81.6% 编码成绩存疑:随机基线也有 73.7%
yifeiwang77 · x · 2026-09-24
王益指出 DeepSWE 相关 81.6% 的 agent 编码成绩有误导性:该数字并非模型生成答案的通过率,而是用模型作为答案的验证器/分类器(判定其他模型如 Fable 产出的答案),难以宣称是「DeepSWE 上 81.6%」。
他补充称,该任务的随机选择基线就已达 73.7%,进一步说明这一成绩的含金量存疑。
所属事件:8B 模型编码成绩遭质疑：实为验证器而非解题者(2 条相关)→
「模型」频道最新
- 双板搭建测试：GPT-6 Astra 成功，Claude Fable 5.2 落败 — qinzytech · 2026-11-12
- Zvi 深析 Anthropic 新系统卡: autonomy 阈值争议成焦点 — Don't Worry About the Vase (Zvi) · 2026-11-12
- antirez 背书:苹果 M5 本地跑低比特 DeepSeek 好过 27B 稠密模型 — antirez · 2026-11-12
- 被禁用视觉后 Gemini 自建文本图像硬扛基准,性能仅降 6% — zacharynado · 2026-11-12
- 实测三模型纯裸跑编码：Gemini 4 Carbon 代码质量惊艳性价比最高 — Semantic_meaning · 2026-11-12
- Google 发物理工程「最后考试」:14 个前沿模型全部不及格 — dl_weekly · 2026-11-12