伯克利 Shreya Shankar 谈数据 Agent：最强模型首轮仅过 61% 查询
sh_reya · x · 2026-10-24
UC Berkeley 博士、即将加入 CMU 数据库组的 Shreya Shankar 在 dbt 的 Analytics Engineering 播客中讨论数据 agent 能否做真正的分析工作。要点：
- 她是 DocETL（LLM 数据处理系统）作者，也是 Data Agent Bench (DAB) 的合著者，该基准测试 agent 能否胜任初级数据分析师的工作
- 在真实环境（多数据库、脏数据、部落知识、自由文本列）中，DAB 上最强 agent 首轮仅通过 61% 的查询
- 有语义层加持的 agent 表现显著更好
- 关于评测：看过大量输出之前，你无法知道想要 LLM judge 做什么；agent 输出至今没有类似 df.summary() 的概览工具
- 引用 Tristan 的话：「数据团队想要 AI，但落地往往粗糙幼稚」
「编程与Agent」频道最新
- Google DeepMind 研究员演示在办公桌上跑 3D 赛车游戏 — thursdai_pod · 2026-10-24
- Austin LangChain 演讲：小模型优先+缓存复用的分层推理路由法 — colinmcnamara · 2026-10-24
- NVIDIA 开源 OpenShell:自主 Agent 运行时沙盒,18.6k star — petrusenko_max · 2026-10-24
- 睡前给 Claude Code 一个目标：一夜筛出 380 家健身房拟出 30 封外联草稿 — Arindam_1729 · 2026-10-24
- Factory 发布 Anthropic 客户案例:谈大型代码库长程任务与「黑暗工厂」 — matanSF · 2026-10-24
- 开发者用 Rust 重写 Apache2 并加 Verus 规约：比继续跑 C 版更划算 — jd_pressman · 2026-10-24