30天26k次AI爬虫抓取个人站：Apple居首，OpenAI紧随

gaganghotra_ · x · 2026-10-18

开发者 gaganghotra 公布其个人网站过去 30 天被 AI 爬虫抓取的 Cloudflare 数据：共 25.93k 次 AI 爬虫请求，其中 14k 次被放行、约 12k 次失败（含 10.39k 次 403）。按公司排名：Apple（Applebot）2.45k 居首，OpenAI（OAI-SearchBot 等）2.26k、Google（Googlebot）2.17k、Anthropic（Claude-User 等）2.01k、Microsoft 1.23k、Perplexity 1.22k，DuckDuckGo、百度、Mistral、Common Crawl 依次靠后。被爬最多路径是一篇关于 ChatGPT 自建搜索索引的文章（642 次成功请求），Apple 爬虫还抓取了 344.15 MB 视频。