Google 反爬虫链接策略翻车：/goto 重定向 URL 反被索引

lilyraynyc · x · 2026-08-28

为了打击爬虫，Google 在搜索结果中使用了 google.com/goto 加密重定向链接来隐藏真实目标。然而，这些 URL 现在反被 Google 自己索引了。由于 robots.txt 禁止抓取 /goto，Googlebot 无法识别这是重定向，导致原始网页内容可能被这些 Google 域名的链接“蚕食”或覆盖。这是一个典型的 SEO 技术债务与反爬虫策略冲突的案例。