实测数据：AI 爬虫流量已达人类访客 4.25 倍
marclou · x · 2026-07-22
独立开发者分享了近 30 天其网站遭遇的 AI 爬虫流量数据：
- 总量惊人：AI 机器人访问量超过 85 万次，是人类访客流量的 4.25 倍。
- 训练霸主：Meta 占据了 87% 的 LLM 训练数据抓取份额。
- 索引抓取：OpenAI 的索引爬取频率是 Google 的 2 倍。
- 问答查询：ChatGPT 为了回答用户问题，对网站的抓取次数是其他 AI 助手的 20 倍。
所属事件:实测：AI 爬虫流量已达人类访客的四倍以上(2 条相关)→
「Infra」频道最新
- 云基础设施正分化为多云、混合云和主权云 — BenBajarin · 2026-07-23
- Ben Bajarin 认为 Anthropic 是 AMD GPU 布局的天然伙伴 — BenBajarin · 2026-07-23
- vLLM meetup 回归，讨论路线图、Agent 工作负载和生产服务 — vllm_project · 2026-07-23
- Firecrawl 新版 /search 在 SimpleQA 上冲到 SOTA — devdigest · 2026-07-23
- Blockmachine 将 SN19 做成 RPC 市场，归档节点月奖 5000 美元 — bittingthembits · 2026-07-23
- 应对 API 限流新思路：提出动态 Token 定价与竞价机制 — yenkel · 2026-07-23