Google 搜索改写结果链接为 google.com/goto,全面反 AI 爬虫抓取
jedisct1 · x · 2026-09-13
- 自 2026 年 8 月下旬起,Google Search 在登出/隐私模式下持续把自然结果链接改写为 google.com/goto?url=...,不再在 HTML 中暴露目标 URL。
- 与旧的 google.com/url?q= 格式不同,新参数不是目标 URL 的 base64,而像是 Google 索引记录的不透明引用,无法离线解码;真实 URL 只能通过向 /goto 发请求、读取响应的 Location 头获得(不要跟随重定向)。
- 动机:此前爬虫可从 HTML 直接批量解析结果 URL 建立索引,现在每条结果都需回访 Google 一次,速度更慢、信号更明显,明显针对 AI 爬虫与 SEO 批量抓取。
- 对从 SERP 大规模建搜索索引的产品影响显著;页面渲染所需的域名/favicon 信息仍在页面其他位置留存。
「Infra」频道最新
- 拿到 2×A100 三个月算力,团队公开端侧蒸馏双项目方案求拍砖 — Lerok-Persea · 2026-09-13
- 预测:2027 年超大规模厂商将收紧 AI 资本开支 — pdamodaran · 2026-09-13
- llama.cpp 上线官网 llama.app,一条命令本地跑前沿模型 — ngxson · 2026-09-13
- M2 Ultra 本地跑 Qwen:最新 oMLX 更新带来显著提速 — Thrumpwart · 2026-09-13
- 双 3090+老 EPYC 跑 177B MoE 模型:38 tok/s 仅花 800 美元 — ludos1978 · 2026-09-13
- Epoch 简报：华为难追英伟达，GPT-6 Astra 刷新多项基准纪录 — Epoch AI · 2026-09-13