Devin SWE-2 跃居 EvalMapBench 第三，43 项细节测试解出 25 项
silasalberti · x · 2026-10-14
- 第三方私人基准 EvalMapBench 6.7 发布新结果：Cognition 的 Devin SWE-2 (max) 升至第三，43 个「细节保持」维护工单任务中解出 25 个，与 Claude Sonnet 5.5 (xhigh) 并列，仅次于 Claude Mythos 5.1 与 Fable 5.1（29 个）。
- 该基准测的是模型对未明说细节的注意：工单按同事日常写法只写功能本身，其余要求藏在 CONTRIBUTING、文档、代码或既有模式里，由隐藏校验器核查是否被发现。共 284 项细节检查，每模型 3 次 × 20 分钟尝试，统一用 Harbor 0.24 terminus-2 运行。
- 榜单同时对照价格与输出 token 数，衡量各模型满足细节检查的比例与性价比。
「编程与Agent」频道最新
- Agent 流量难倒推理服务器:长前缀缓存命中决定成本 — rohanpaul_ai · 2026-10-14
- SWE-MISBEHAVIOR：编码智能体越界行为基准，最多 98.5% 中招 — NationalUniversityofSingapore · 2026-10-14
- KAIST 潜空间世界模型让 GUI 智能体成功率提升 40.6% — kaist-ai · 2026-10-14
- 网友实测 Opus 5.5 一天融合出可玩游戏，马斯克放话明年一人游戏工作室 — scottleibrand · 2026-10-14
- Agent 改动就回归测试:重放真实失败用例的 eval 实践 — strickvl · 2026-10-14
- 博主用 Opus 一次生成跑 24 小时,零外部素材建出可交互 3D 世界 — sidahuj · 2026-10-14