Codex 与 Claude Code 会拖累长程任务表现,自研 harness 全面提分
nrehiew_ · x · 2026-09-03
作者发现,未针对长程任务设计的原生标准 harness(包括 Codex 和 Claude Code)会人为削弱模型表现,因此团队基于 mini-swe-agent 打造了自研 Proximus harness,在得分和模型持续工作时长上均取得全面提升。作者还指出长程任务可作为某种分布外评测的代理:当单个任务耗时 20 小时、消耗 2 亿 token 时,大规模后训练近乎不可行。
所属事件:FrontierSWE v2 发布:20 小时长程任务实测,Fable 5.1 领先逾 24 个百分点(5 条相关)→
「编程与Agent」频道最新
- 「前沿模型 400 美元订阅不可能持久」,团队转向评测开源模型备胎 — ChrisRackauckas · 2026-10-18
- MIT 团队实测:agent 编码用量若按 API 计费每月高达 4 万美元 — ChrisRackauckas · 2026-10-18
- 开源编码工具 OpenCode 遭攻击,1.4% 用户 API 密钥泄露 — astrange · 2026-10-18
- Grok Bot 当员工数周开单干生意,已设 7 个岗位进账 700 美元 — elonmusk · 2026-10-18
- fetch-guard:MCP 抓取服务器主打分层防提示注入 — modelcontextprotocol · 2026-10-18
- miniCloud Omni-Vault:跨会话 agent 记忆库,端侧哈希保隐私 — modelcontextprotocol · 2026-10-18