Databricks测出编程Agent组合差异
AI寒武纪 · wechat · 2026-07-11
Databricks 结合自家真实代码库，对**模型 + 执行框架（harness）**做了大规模编码代理测试，样本来自 3000 多名工程师的实际工作产出，覆盖多种语言和任务类型。 ### 主要结论 - **同一模型**，换不同 harness，最终任务成本能差到接近 **2 倍**。 - 在成本/效果的帕累托前沿上，**OpenAI、Anthropic 和开源模型**都能占到位置，没有一家供应商垄断全场景。 - **GLM 5.2** 表现很强，在真实编码任务里达到接近 **Opus 4.8** 的水平，且单次任务成本更低（文中给出的对比是 **1.28 美元 vs 1.94 美元**）。 - **Token 单价不等于任务成本**：推理效率和完成任务所需的轮数，可能比标价更关键。 - 像 **Pi** 这类更轻量的框架，因每轮发送上下文更少，往往能显著降低成本，而质量不一定更差。 ### Databricks 怎么做评测 - 他们没有只看公开基准，而是基于内部 **PR/代码提交** 构建测试集，因为公开集容易泄露到训练数据，也不一定代表私有代码库的复杂性。 - 测试集筛选强调：时效性、人工编写、高质量可验证、改动范围可控、任务分布代表性。 - 评估以**客观测试结果**为准，不依赖 LLM 裁判。 - 为了防止代理通过 Git 历史“作弊”，还对历史记录做了隔离。 ### 结论 Databricks 已经在做更灵活的**模型/框架调度**，并计划用 **Unity AI Gateway** 和 **Omnigent** 根据任务自动选择合适组合，以平衡效率和成本。