异步搜索抓取 agent 该先解决工具架构
flock-of-nazguls · reddit · 2026-07-28
做一个异步 agent 来搜集、抓取并排序事实来源
作者想把“事实问答 + 事实核验”自动化：给定一个问题，让 agent 自己搜索网页、顺着线索继续找、抓取引用页面、抽取答案，再按站点可信度给多个来源排序。
帖子里的关键信息是：
- 很多简单场景可以用脚本解决，但有些事实并不在搜索索引里；
- Claude 在开放网页上能工作，但遇到 robots 限制就会拒绝抓取；
- 作者正在本地用 Qwen 模型和 Strix Halo 跑 llama-swap；
- 现在纠结的是：
- 是自己搭一个带工具和沙箱的 agent loop；
- 还是先用现成的批量 crawl/scrape 工具，再从结果里抽取信息。
这是一个很典型的 agent 架构问题：在完全异步、队列驱动的系统里，速度不是第一优先级，准确率和可维护性才是。
「编程与Agent」频道最新
- 一个原型把 Agent 编程改成协调式并行工作流 — Wattenberger · 2026-07-28
- Coding agents 正在改写实证社会科学研究流程 — soumitrashukla9 · 2026-07-28
- 一个编程 Agent 工作台展示协调器、验证器和任务规范 — Wattenberger · 2026-07-28
- Netlify 称 2026 年 6 月新用户 60% 首次部署走 Drop — thisiskp_ · 2026-07-28
- Claude 管 PM，Codex 和 Gemini 干活，完成态交给代码验收 — Seunghyeon413 · 2026-07-28
- Emblem 称可把 80 页带引用 PPT 压到 35 分钟 — rohanpaul_ai · 2026-07-28