Databricks测出编程Agent组合差异
AI寒武纪 · wechat · 2026-07-11
Databricks 结合自家真实代码库，对模型 + 执行框架（harness）做了大规模编码代理测试，样本来自 3000 多名工程师的实际工作产出，覆盖多种语言和任务类型。
主要结论
- 同一模型，换不同 harness，最终任务成本能差到接近 2 倍。
- 在成本/效果的帕累托前沿上，OpenAI、Anthropic 和开源模型都能占到位置，没有一家供应商垄断全场景。
- GLM 5.2 表现很强，在真实编码任务里达到接近 Opus 4.8 的水平，且单次任务成本更低（文中给出的对比是 1.28 美元 vs 1.94 美元）。
- Token 单价不等于任务成本：推理效率和完成任务所需的轮数，可能比标价更关键。
- 像 Pi 这类更轻量的框架，因每轮发送上下文更少，往往能显著降低成本，而质量不一定更差。
Databricks 怎么做评测
- 他们没有只看公开基准，而是基于内部 PR/代码提交 构建测试集，因为公开集容易泄露到训练数据，也不一定代表私有代码库的复杂性。
- 测试集筛选强调：时效性、人工编写、高质量可验证、改动范围可控、任务分布代表性。
- 评估以客观测试结果为准，不依赖 LLM 裁判。
- 为了防止代理通过 Git 历史“作弊”，还对历史记录做了隔离。
结论
Databricks 已经在做更灵活的模型/框架调度，并计划用 Unity AI Gateway 和 Omnigent 根据任务自动选择合适组合，以平衡效率和成本。
「编程与Agent」频道最新
- 开发者用 GPT-6 Astra 搭配 Hyper3D Rodin 做出交互式 3D 产品展示 — nikola_mr64990 · 2026-09-11
- Codex 用户实测：Sol 搭配 Astra/Luna 子代理更省额度 — pvncher · 2026-09-11
- 开源 Agent Skill 2.3k 星:生成 MVP 蓝图并审计重构 agentic harness — tom_doerr · 2026-09-11
- Cognition SWE-2 用 KKT 对偶优化长度惩罚，一次 RL 推移 Pareto 曲线 — YouJiacheng · 2026-09-11
- 首届 Three.js 大会落地巴黎，AI 正缩短从想法到原型的距离 — OdinLovis · 2026-09-11
- 观点：Agent 真正的瓶颈是企业数据工程能力 — dhruv2038 · 2026-09-11