Screaming Frog 官方提示：用 AI 助手直接改爬虫配置
VeryWellVersed · x · 2026-11-10
- Screaming Frog 官方发帖提示：AI 助手（如 Claude，通过 SEO Spider MCP）可以完整操作 Screaming Frog 配置，从开启 JS 渲染、切换 user-agent 等基础设置，到自定义提取、复杂分段、自定义 JS 等高级配置
- 配图展示了实际工作流：向 Claude 下达「配置自定义提取，抓取博客作者名和发布日期并爬取网站」后，AI 自动设置两个 XPath 提取器、选定 meta 标签而非页面可见署名（单一干净值、ISO 日期可排序、其他页面保持空白），并主动说明合著文章的备选 XPath 与三项清理操作
「编程与Agent」频道最新
- 《百页深度强化学习书》上新，作者还用 vibe coding 零代码做出学习平台 — burkov · 2026-11-10
- Perplexity 科研 agent 从零构建拓扑量子记忆模拟器 — jeffgrimes9 · 2026-11-10
- Mainframe 团队用自家 Canvas 画布开发 Mainframe 本身,前后端全在其中 — vinvan · 2026-11-10
- 企业安全团队研讨:AI Agent 自动创建并审批 PR 的边界 — heyneighbor · 2026-11-10
- 开发者把 37 个确定性检查做成 MCP 工具,仅两个用 LLM — KuNaan314 · 2026-11-10
- Fable 5.2 实测：自动测 Stripe 订阅全流程，19 次开浏览器找 bug — Rasmic · 2026-11-10