GitHub 公开 Copilot 与 Codex、Claude Code 各 harness 实测数据
0xkarasy · x · 2026-11-18
GitHub 官方宣布开始发布 GitHub Copilot harness 相对其他 harness(含 Codex CLI 与 Claude Code CLI)的性能数据,作为既有模型评测数据的补充——此前已公布各模型在 Terminal Bench 4.0 与 DeepSWE 1.1 上的表现。配图展示 Terminal-Bench 4.0 上「解决率 vs 每任务成本」散点:Claude Opus 5.5、GPT-6 Astra 位居高解决率/高成本区间(约 45-50%,$2.5+),GPT-6.1 Sol 约 47%/$0.5,Claude Sonnet 5.5 约 28%,GPT-6 Luna 解决率低于 10% 但成本最低(约 $0.08-0.14),三种 CLI harness 在多数模型上表现接近。
「编程与Agent」频道最新
- Pipecat 开源 Audience 模型:让语音 Agent 知道「这句话是不是在叫我」 — alexcovo_eth · 2026-11-18
- 把个人 API Token 直接给 Agent 用,是今年最懒也最危险的操作 — WesternNo2429 · 2026-11-18
- Weave:让模型写一段脚本,Rust 运行时自动并行跑独立工具调用 — Business_Rain_1042 · 2026-11-18
- 微软开源 Work IQ Starter Pack:一键灌满 Copilot 演示租户 — DanWahlin · 2026-11-18
- 新癖好:见到漂亮网站就用 Claude 本地复刻一个 — mickeyxfriedman · 2026-11-18
- Basis 与 AWS 合作给 S3 做出可回滚「撤销键」防 AI agent 酿灾 — xuanalogue · 2026-11-18