自建基准:35B 的 Qwen3.6 得 95%,完胜 120B 的 GPT-OSS 53%
pauliusztin · reddit · 2026-09-26
一位从零构建 AI agent 的开发者分享：在自己的编码 agent 基准上，Qwen3.6-35B 拿到 95% pass@1，而体量约四倍的 GPT-OSS-120B 只有 53%——通用榜单和参数规模不可信，必须为自家用例建评测。
基准设计要点
- 19 个任务（7 易/6 中/6 难），风格仿 Terminal-Bench，含指令、带 seed 的仓库和隐藏验证器，奖励为 0/1
- agent 在沙箱中以 git 分支提交工作；隐藏测试仅在 agent 运行后注入，防止泄漏线索
- 验证器是代码而非 LLM 评判：改错文件或单文件改动超 8 行即判失败
- 用 Opik 做可观测与评测：追踪 agent trace、管理数据集版本、把每次运行存为实验，两模型对比即两实验对比
关键提醒：评测 harness 是针对 Qwen3.6-35B 调优的，这正是分差巨大的原因——针对模型优化 harness 的重要性不亚于模型本身的规格。
成本对比：同一模型同一负载，按 token 付费（OpenRouter）约 $0.18/1.2M tokens，比按 GPU 小时付费（Modal）更便宜；GPU 方案只有在能批量跑满任务时才划算。
作者结论：模型大小与榜单排名参考价值有限，不测自己的用例就无法信任通用报告。
「编程与Agent」频道最新
- Matt Pocock:课程最惊艳的不是 Agent,而是 DDD 领域驱动设计 — mattpocockuk · 2026-11-11
- AI 智能体日夜运转一个月,复现法国气象局 AROME 天气模型 — IgorCarron · 2026-11-11
- 让 AI 角色扮演「高执行力传奇玩家」,提示词的隐藏秘诀 — tokenbender · 2026-11-11
- Agent 验证不设截止时间等于没验证：一份防护设计准则 — Key-Register-1969 · 2026-11-11
- 免费开源课程：从零构建 Claude Code 克隆，8 文章 6 视频讲透 harness 工程 — blaizedsouza · 2026-11-11
- 百度开源文心 5.5 Flash Preview:连写 11 小时代码做出武侠游戏 — xiaohu · 2026-11-11