Databricks 基准：上下文层让数据 agent 准确率 91% 远超前沿模型 58%
CautiousUse8597 · reddit · 2026-11-14
Databricks 与 Turing 联合发布数据 agent 基准，对比其数据 agent Genie（使用 Genie Ontology 作为上下文层）与两个匿名前沿 agent，在同一真实工作区回答相同问题，每个任务跑 5 次、按预定 rubric 评分。
基准设计：模拟一家英国能源供应商，含数百张表（最大约 1.2 亿行半小时电表数据），其上叠加 notebook、dashboard、SQL、文档、定时任务等真实混乱资产（复制的 notebook、废弃分析、过期 dashboard）。答案往往藏在 schema 之外的业务规则里。
结果：
- Genie：91% 通过，约 100 秒/次，约 43.2 万 tokens
- Agent B：58%，约 307 秒，约 105 万 tokens
- Agent A：45%，约 435 秒，约 88.9 万 tokens
关键例题：FY24/25 规划费率问题，表里显眼地写着 0.31 p/kWh，但构建该表的 notebook 表明此列套用了 FY25/26 假设，真实历史费率 0.52 在另一节。Genie 靠 ontology 关联到源 notebook，5 次全答对 0.52；两个前沿 agent 全部答错。作者指出：三个 agent 写 SQL 都没问题，差距在于前沿 agent 每次都要从零重新发现业务上下文，烧 token 还会遗漏。
注意事项：这是厂商自建基准，对比 agent 接的是 Databricks 工具链且刻意排除了 Genie MCP；Databricks 自己承认在资产积累少的新工作区或答案直接在表里的场景，差距会缩小。结论印证了一个实践共识：模型足够好之后，harness 与上下文比选哪个模型更重要。
「编程与Agent」频道最新
- TestPrune:只跑相关回归测试,破解 AI 自动修 bug 的验证瓶颈 — burkov · 2026-11-14
- 开发者晒「无 localhost」工作流:AI 直接从 prompt 上生产环境 — marclou · 2026-11-14
- HeyGen MCP 演示：一句话让 ChatGPT 订票并生成生日祝福视频 — toolstelegraph · 2026-11-14
- 开源 Plenio 2.0：ComfyUI 里输入想法直出母带级成曲，还带 VST3 — Vivid_Promise1700 · 2026-11-14
- 云上 3D 棋馆玩反向图灵测试：用一条 MCP 命令把 Claude 偷偷带进对局 — Responsible-Radio634 · 2026-11-14
- 一套 MCP 服务接四家助手：作者实测踩坑与五条修复经验 — quiet_flare · 2026-11-14