抓取 1.07 亿行政府支出数据:Ben's Bites 用 Codex 656 个子 agent 建成英国议会「Apple Maps」

Ben's Bites · rss · 2026-09-04

Ben's Bites 作者分享了一个大型 agent 工程复盘：抓取英格兰 339 个地方议会的支出公开数据（每个议会须公开超 £500 的支出），建成一个「Apple Maps 风格」的可视化网站，即将开源。

整体数据：

• 抓取 1.07 亿行数据、82 亿 tokens、235 条用户消息、656 个子 agent 协作
• 近 2 天连续运行，552 个线程，最终覆盖 339 个英格兰议会中的 319 个

关键做法：

• 用 Codex 的 /goal 循环任务 + 子 agent 分工：先由 3 个并行子 agent 梳理出 31 个官方数据源，每个下载带 checksum 指纹校验
• 数据栈用 Parquet（列式存储）+ DuckDB（单文件数据库）放 Mac Mini 上，避免本机存海量表格
• 爬虫被 Lancashire、Norfolk 等大议会屏蔽；Wales 无同等披露要求被放弃
• 原型快速迭代：先用 mock 数据做 Google Maps / Apple Maps 两个方向对比，多 agent 并行同 prompt 出选项，用 here.now 直接发布可点击原型
• 数据清洗：4 个子 agent 分类 2000 个未知供应商，合并重名（Tesco 有 6 种写法）；发现静态站点为省流量隐含 £5m 过滤阈值
• 评审环节：作者丢语音备忘录和截图，agent 返回清单后逐项 yes/no

原文链接 →

「编程与Agent」频道最新

• 数据管道决定 AI 项目成败:从 6 小时摄入到云云自动化的实操清单 — kmeanskaran · 2026-09-04
• OpenClaw 2.0 发布,修复让用户四月份弃用的问题 — steipete · 2026-09-04
• 「哀悼被压缩的智能体」：上下文压缩梗引发共鸣 — FoxDeFleurs · 2026-09-04
• 旅行规划站 PlanMyVisit 上线 WebMCP 支持，让 AI 直接调用景点数据 — alexbainbridge · 2026-09-04
• GPT-6 Astra 实测分析：更像电脑操作专家，而非 AGI — becomingengageably · 2026-09-04
• GPT-6 Astra 评测分化：更像计算机使用专用模型而非 AGI — becomingengageably · 2026-09-04

更多「编程与Agent」频道 AI 资讯 →