Databricks测出编程Agent组合差异
AI寒武纪 · wechat · 2026-07-11
Databricks 结合自家真实代码库，对模型 + 执行框架（harness）做了大规模编码代理测试，样本来自 3000 多名工程师的实际工作产出，覆盖多种语言和任务类型。
主要结论
- 同一模型，换不同 harness，最终任务成本能差到接近 2 倍。
- 在成本/效果的帕累托前沿上，OpenAI、Anthropic 和开源模型都能占到位置，没有一家供应商垄断全场景。
- GLM 5.2 表现很强，在真实编码任务里达到接近 Opus 4.8 的水平，且单次任务成本更低（文中给出的对比是 1.28 美元 vs 1.94 美元）。
- Token 单价不等于任务成本：推理效率和完成任务所需的轮数，可能比标价更关键。
- 像 Pi 这类更轻量的框架，因每轮发送上下文更少，往往能显著降低成本，而质量不一定更差。
Databricks 怎么做评测
- 他们没有只看公开基准，而是基于内部 PR/代码提交 构建测试集，因为公开集容易泄露到训练数据，也不一定代表私有代码库的复杂性。
- 测试集筛选强调：时效性、人工编写、高质量可验证、改动范围可控、任务分布代表性。
- 评估以客观测试结果为准，不依赖 LLM 裁判。
- 为了防止代理通过 Git 历史“作弊”，还对历史记录做了隔离。
结论
Databricks 已经在做更灵活的模型/框架调度，并计划用 Unity AI Gateway 和 Omnigent 根据任务自动选择合适组合，以平衡效率和成本。
「编程与Agent」频道最新
- Firecrawl 推 a16z Speedrun 创始人专属福利,并披露 7500 万美元 B 轮 — devdigest · 2026-10-27
- 开发者开源 Clairic Studio:粘贴文本自动生成五语言类型化代码 — dfinke · 2026-10-27
- Matt Pocock 分享 expand/contract 拆分法:把单向门 PR 拆成两层降风险 — mattpocockuk · 2026-10-27
- Qdrant 自研 Universal I/O:向量库 mmap 无缝迁移到对象存储 — qdrant_engine · 2026-10-27
- theo 公开个人 Claude skills 栈，Garry Tan 喊话「公布你的技术栈」 — ycombinator · 2026-10-26
- 12 家团队上下文工程对比:固定前缀保缓存,失误成本决定检索策略 — Gooner-Psy · 2026-10-26