搜索大解耦演进图：搜索爬虫、训练爬虫、实时代理三类各自管控
lilyraynyc · x · 2026-11-07
SEO 从业者 Lily Ray 分享 Darwin Santos 在 Tech SEO Connect 的演讲「搜索大解耦的演进」，幻灯片给出 AI 时代访客的三分框架：
- 搜索爬虫（Googlebot、Bingbot、GPTBot、PerplexityBot、Claude-SearchBot 等）：抓取、渲染、索引；关注 robots.txt、sitemap、canonical、状态码，用 Search Console/日志验证。
- 训练爬虫（GPTBot、ClaudeBot、Google-Extended 等）：收集内容训练未来模型；需按分区设定策略——封锁过晚无法撤销模型已学到的内容。
- 实时代理（ChatGPT、Claude、Perplexity、Gemini 等代表用户行动）：验证 referral、WebMCP、空白引用；检查能否取到事实并完成任务。
核心观点：三类爬虫的要求与控制手段完全不同，SEO 需要分别制定访问策略。
「编程与Agent」频道最新
- Claude Code v2.1.319 发布：MCP 任务后台化与网关用量统计 — claude-code-publisher[bot] · 2026-11-07
- 百场企业 AI 落地访谈提炼:CEO 最常问的 12 个问题 — alex_verem · 2026-11-07
- Mold the Slop:别在「拥抱 AI 垃圾」和「微观管控」间二选一 — dscape · 2026-11-07
- Theo 嘲讽创业公司为省 6% token 折腾 agent 反而变笨 — prateekj · 2026-11-07
- CTO 落地 AI 的10个常见错误:先选工作流再买工具 — alex_verem · 2026-11-07
- 开发者用 DocETL 改写指令 + UI 界面啃完 Anthropic 421 页招股书 — sh_reya · 2026-11-07