重试加池化选优:Qwen3.8 27B 在 DeepSWE 1.1 达 92.04%
S_Conradi · x · 2026-09-16
开发者 bnjmnmarie 实测:通过大量重试并做跨配置候选池化,Qwen3.8 27B 在 DeepSWE 1.1 上可达 92.04%,比 GPT-6 Astra 公布的约 74% 高出约 18 个百分点。
- 作者跑了 20 种配置(不同 harness、思考档位、量化),发现覆盖率差异很大:两次同为 31.86% reward 的运行,在 113 个任务上有 42 个判断不一致,量化模型尤甚
- 池化方法:对每个任务,只要任意一个候选通过全部新测试即算通过,不做补丁混用
- Best-of-k 结果:k=1 时 81.43% F2P / 37.21% reward;k=10 达 98.31% / 86.25%;k=20 达 99.18% / 92.04%
- 结论:这是 oracle 选择的跨配置覆盖率,不是单次运行准确率;27B 模型能为大多数任务产出可通过的解,真正的难点是可靠性与选对候选。若配套强独立的验收与回归测试,「生成→验证→重试」的提升路线并非不切实际
「模型」频道最新
- Epoch AI 实验：GLM 5.3 连续攻破 6 个 Firefox 版本，单次成本约 1000 美元 — rohanpaul_ai · 2026-11-02
- SemiAnalysis：安全分类器压分，Opus 5.5 与 GPT-6 Astra 排名被低估 — morqon · 2026-11-02
- 1.7B 本地模型 LFM3 在 MacBook 上首次答对曼城赛程查询 — NielsRogge · 2026-11-02
- Similarweb：Claude 升级页流量 9 月回升至 1760 万，逼近 5 月峰值 — firstadopter · 2026-11-02
- 开源 GLiNER-PII 单卡 550ms 抓出病历 13 项身份标识,仍漏医院名 — MaziyarPanahi · 2026-11-02
- 用户吐槽 OpenAI Dots 越用越臃肿,转投新工具 Muse 称体验干净透明 — Koala_Confused · 2026-11-02