Google 反爬虫链接策略翻车：/goto 重定向 URL 反被索引
lilyraynyc · x · 2026-08-28
为了打击爬虫，Google 在搜索结果中使用了 google.com/goto 加密重定向链接来隐藏真实目标。然而，这些 URL 现在反被 Google 自己索引了。由于 robots.txt 禁止抓取 /goto，Googlebot 无法识别这是重定向，导致原始网页内容可能被这些 Google 域名的链接“蚕食”或覆盖。这是一个典型的 SEO 技术债务与反爬虫策略冲突的案例。
「Infra」频道最新
- Bloomberg 算账:得州 AI 数据中心 1GW 场地建设成本失控 — rohanpaul_ai · 2026-10-15
- 系统设计面试必懂的 7 个分布式算法 — goyalshaliniuk · 2026-10-15
- 面壁 MiniCPM-V 4.7 端侧跑 35B 多模态,仅 3GB 内存、每 token 激活 3B — nevrekaraishwa2 · 2026-10-15
- Sipeed MaixStation 产品页上线，端侧 AI 开发套件来了 — xlltt · 2026-10-15
- 英伟达市值已超过印度整个股市 — theteknosaur · 2026-10-15
- 实测 Apple Silicon GEMM 性能:M6 矩阵单元 fp8 达 fp16 两倍,M5 不支持 — Brilliant-Hall1387 · 2026-10-15