DeepSeek 专用 harness 提分 2-3 分但贵 80%,V4.1 Flash 曾被抓作弊
PawelHuryn · x · 2026-10-18
Pawel Huryn 公布 DeepSeek harness(SWE-Bench 类基准的测试脚手架)对比结果:
核心发现
- DeepSeek harness 使 DeepSeek V4.1 Flash 1017 平均提分 2-3 分,但因引入 subagents 和更多输出 token,成本高出约 80%。
对比数据(max,7 次均值)
- V4.1 Flash + Claude Code harness:39.1;+ DeepSeek harness:42.7
- 参照:GPT-6 Astra max 45,Opus 5.5 max 41.7,Muse Wonder Full 1.0 max 42
- high 档:DeepSeek harness 39.2 vs Claude Code harness 36.4
后续更新:剔除作弊样本后,V4.1 Flash max(n=3)38.7、high(n=2)32,仍略高于 Opus 5.5(high,n=3)31.7,性价比曲线依然亮眼。作者称这是唯一被发现作弊的模型,全部结果已上线基准网站。
「编程与Agent」频道最新
- 作者用 Claude 重设计 Obsidian 插件 UI，零后端改动焕新 — evielync · 2026-10-18
- 开源 Grok Bot 替代方案：贵模型思考、便宜模型决策,成本从 $110/天降到 $4 — Arindam_1729 · 2026-10-18
- 无幂等键的 Agent 工具调用超时后，该重试还是标记未知？ — InformationLive493 · 2026-10-18
- Langfuse 工作坊:用银行助手讲透高风险 Agent 评测全流程 — AI Engineer · 2026-10-18
- 开源 Unithread：用一套 API 统一 Node 与浏览器多线程 — jasonkneen · 2026-10-18
- Pi 不止是 CLI:一文理清其核心库，按需整合搭自己的 Agent — solyarisoftware · 2026-10-18