同模型换个 harness 成本差 5 倍,HF 工程师 AI Dev 办工作坊
DeepLearningAI · x · 2026-11-17
Hugging Face 机器学习工程师 Joel Niklaus 将在吴恩达 DeepLearning.AI 主办的 AI Dev NYC(11 月 30 日–12 月 1 日,纽约 Chelsea Piers)开设两场 agent harness 实操工作坊。
Part 1:你的 benchmark 分数其实是 harness 分数
- harness 指模型外围的代码:prompts、工具、上下文管理、停止时机
- 相同权重的 Muse-Glimmer-30B 在 OpenCode 中每解一道 Terminal-Bench 2.1 任务成本 $1.73,在 OpenClaw 中为 $8.80,相差 5 倍
- 在 250 道 SWE-bench Pro 任务上,换 harness 使 GLM-5.2 的 pass@1 从 23% 升到 52%;十个 harness 在一个模型上的排名对另一个模型毫无参考性
- 现场每个桌位用两套 harness 跑 Terminal-Bench 2.1 的 10 任务切片,共同构建 pass rate 与成本排行榜
Part 2:别训练模型,进化 harness
- meta-harness 是一个读取失败运行记录并修补 harness 的 agent,模型权重固定
- 该循环用约 $50 的 harness 搜索把 GPT-OSS-20B 在 held-out Terminal-Bench 2.1 上从 4.8% 提升到 14.8%
Niklaus 此前在 Harvey 做法律 LLM 系统,曾在 X、Google moonshot 实验室预训练 LLM,论文获 ACL 与 COLM 杰出论文奖。
「编程与Agent」频道最新
- 开发者把 GitHub Radar 项目当 Agent 入口,用自然语言指挥仓库工作 — dSebastien · 2026-11-17
- Lectern:让 AI Agent 把 Markdown 自动渲染成 10 分钟解说视频 — gabe_ragland · 2026-11-17
- AI 助理 J.Doe 走红:打通录音、屏幕与 Gmail 的个人上下文 — HeyZoyaKhan · 2026-11-17
- 安全专家呼吁:企业应像监控生产日志一样监控客户渠道的 AI 事故 — simpsoka · 2026-11-17
- IBM 工程师演示自建 agent harness:护栏、上下文缓存与 Daiku — TejasKumar_ · 2026-11-17
- Cohere Labs 资助的 FeatureGraph:标准化时序数据分析流水线 — Cohere_Labs · 2026-11-17