26040 次 agent 运行、耗百亿 token:换模型是否也该换 harness?
stuffyokodraws · x · 2026-11-11
guanlan 团队发布 FrontierHarness 排行榜 v1.1,用最多 1000 亿 token、26040 次 agent 运行回答一个问题:换模型时是否也该换 harness?
规模:
- v1.0 只在单一模型上排行 harness
- v1.1 扩展到 21 个 harness × 5 个模型 × 62 个任务 × 4 次尝试,规模是 v1.0 的 72 倍
结果正在陆续实时公布,细节见推文线程。
「编程与Agent」频道最新
- Vercel 控制台一键把编码 Agent 部署到 Slack — evilrabbit_ · 2026-11-11
- Agent 改进值不值成本？固定 vs 可编辑 harness 对照实验法 — krishnan · 2026-11-11
- Flex-RSI 论文拆解自改进 Agent:可改 Harness、权重固定、隐藏测试把关 — krishnan · 2026-11-11
- 实测对比：Merge Agent Handler 使 Slack 任务成功率提升 2.9 倍工具量 — shensi · 2026-11-11
- DeepMind 发布 Gemini 4 Carbon，一键逆向移植 90 年代游戏 Theme Park — demishassabis · 2026-11-11
- Longtail-SWE 基准发布：202 个任务评测 13 种小众编程语言 — _akhaliq · 2026-11-11