个人站点流量实测:AI 爬虫是人类访问的 143 倍
Ok-Bullfrog-3052 · reddit · 2026-11-22
一位站长公开 35 年历史资料供人查阅并作训练数据,结果发现流量几乎全被 AI 爬虫吃掉:过去 30 天 430 万次请求中真人仅占 0.7%,AI 训练爬虫与人类之比约 20:1(对发布新数据的页面每个文件至少被 10 个爬虫抓取)。
关键观察:
- 每天早上 3 点就打满 50GB 流量上限,真人反而看不到原始图片;Facebook 发帖宣布新内容后,Meta 1 秒内开始索引,其他 agent 1 分钟内读完
- 超过一半请求是 misaligned agent 和老旧自动化工具产生的错误,其中多数连一个文件都没成功抓到;另有 25.7 万次是 agent 尝试利用常见漏洞失败的报错
- 作者据此搭建了一个流量分析网站公开展示各爬虫占比
这是普通人视角下 AI 数据抓取挤压开放网络的罕见一手数据。
「Infra」频道最新
- 英特尔 CEO 陈立武与 Gavin Baker 对谈,亮相 TomorrowX 峰会 — BenBajarin · 2026-11-22
- Particle 登陆 OpenRouter,创始人承诺遵守 ZDR 且不把流量转发至中国 — AravSrinivas · 2026-11-22
- RTX 3090 免刷 BIOS 解锁 FP16,ComfyUI 出图提速 34% — notaneimu · 2026-11-22
- Gemini Ultra 每月 1000 点 Colab 算力:约合 55 小时 H100 — iskander · 2026-11-22
- Hy 团队反对超稀疏 MoE:稀疏换效率但救不回质量 — douglovefishing12 · 2026-11-22
- SpaceX 拟射 400 亿美元 AI 芯片上太空,贷款方因抵押品无法追回而反对 — flngr · 2026-11-22