Meta 爬虫流量一度达 Googlebot 15 倍，Vercel 介入后恢复正常
cramforce · x · 2026-10-15
开发者 cramforce（Vercel）披露了一次互联网规模的事件：Meta 的爬虫（meta-externalagent）发出了过量的、常带重复性的请求，流量一度超过 Googlebot 基线 15 倍以上。配图显示 9 月 27 日至 10 月 14 日期间，meta-externalagent 的每小时请求数持续远高于 googlebot 的平稳基线，并在 10 月 3-5 日达到峰值。
Vercel 与 Meta 团队协作将爬虫流量规范到正常水平，问题现已解决。对运营网站的开发者来说，这是一次值得关注的 AI 训练爬虫对服务端压力的实例。
「Infra」频道最新
- 算力是下一个大宗商品：GPU 是油井，token 是燃气 — AnneliesGamble · 2026-10-15
- OCP 关键幻灯片:Rubin Ultra NVL576 用 CPO 做 scale-up — BenBajarin · 2026-10-15
- TensorFold 推出 macOS 应用，本地跑开源模型实测 874 tok/s — HankYeomans · 2026-10-15
- Enroute 开源:Raft+S3 打造单仓 7600 并发推送/秒的 Git 服务器 — DanielLockyer · 2026-10-15
- 分析:若信贷收紧,neocloud 承压,超大规模云厂反而受益 — RihardJarc · 2026-10-15
- OCP 光互连秀肌肉:InnoLight PIC 现场故障率 FIT<0.01,Credo 推 LPDDR 扩展 — AccBalanced · 2026-10-15