Ramp 实测:原生 harness 普遍提升模型解题率,但效果因模型而异
xeophon · x · 2026-11-19
Ramp Labs 分享的评测观察显示,agent harness 是影响模型行为的关键杠杆:相比纯 Bash 工具箱,原生 harness 通常同时提高解题率和成本,但效果并不均匀。
- Codex 6.1 Terra 和 6 Luna 解题率提升约 10 分,更新的 6.2 系列几乎没有变化
- Grok 和 DeepSeek 从各自原生 harness 中获益明显,Muse 基本持平
- Fable 5.2 比较特殊:原生 harness 下反而更便宜
结论:评估 agent 编码能力时应使用原生 harness,否则会系统性低估部分模型。
「编程与Agent」频道最新
- 调试机器人受挫后,他直接接摄像头让 Codex 自己排查问题 — chris_j_paxton · 2026-11-19
- 双模型组队改UI:规划模型搭把手,成品明显更整洁 — kevinkern · 2026-11-19
- 维也纳 Codex 社区 Build 活动二度举办,11 月 28 日落地 TU Wien — paw_lean · 2026-11-19
- Snapchat 开放 AR 镜头 AI 开发,支持 Claude Code 与 Cursor — TechCrunch AI · 2026-11-19
- Brian Armstrong:专业化开源模型团队协作可胜过前沿大模型 — markjeffrey · 2026-11-19
- onboarding 该为 Agent 重做:用消耗的 token 数来衡量 — yenkel · 2026-11-19