Google 搜索改写结果链接为 google.com/goto,全面反 AI 爬虫抓取
jedisct1 · x · 2026-09-13
- 自 2026 年 8 月下旬起,Google Search 在登出/隐私模式下持续把自然结果链接改写为 google.com/goto?url=...,不再在 HTML 中暴露目标 URL。
- 与旧的 google.com/url?q= 格式不同,新参数不是目标 URL 的 base64,而像是 Google 索引记录的不透明引用,无法离线解码;真实 URL 只能通过向 /goto 发请求、读取响应的 Location 头获得(不要跟随重定向)。
- 动机:此前爬虫可从 HTML 直接批量解析结果 URL 建立索引,现在每条结果都需回访 Google 一次,速度更慢、信号更明显,明显针对 AI 爬虫与 SEO 批量抓取。
- 对从 SERP 大规模建搜索索引的产品影响显著;页面渲染所需的域名/favicon 信息仍在页面其他位置留存。
「Infra」频道最新
- AI 烧钱加深自由现金流缺口，微软靠发债 250 亿美元守住正值 — Kr00ney · 2026-10-31
- Google 太空数据中心首次跑通:轨道 TPU 完成 Gemma 推理并回传 — ns123abc · 2026-10-31
- Google Cloud 花费上限正式上线：新增 API、实时成本报告与每月自动重置 — rseroter · 2026-10-31
- Swift 1.5 Flash Next 去审查逆向版新增多种量化，IQ4 精度换体积 — jjusko20 · 2026-10-31
- ClickHouse 曝未认证远程代码执行漏洞 CVE-2026-116366 — Hacubu · 2026-10-31
- 批量合并提问只读一遍文档,可大幅降 LLM 分类成本与延迟 — petrusenko_max · 2026-10-31