博主晒爬虫日志：Applebot 抓取量逼近 Googlebot
gaganghotra_ · x · 2026-11-09
作者统计自己域名近 7 天的爬虫抓取数据:Googlebot 559 次居首,Applebot 以 419 次紧随其后,被称为在追赶 Google;OpenAI 的 OAI-SearchBot 337 次、Amazonbot 321 次、BingBot 308 次、Claude 相关 186 次、PerplexityBot 88 次。截图显示各 AI 与搜索厂商都在积极抓取网页内容,印证 AI 时代爬虫竞争白热化。
「公司和人」频道最新
- Soham De 宣布加入 OpenAI 伦敦团队,从事模型训练工作 — Ar_Douillard · 2026-11-10
- 谷歌扩大 AI 芯片产品线,冲击英伟达数千亿美元市场 — dinabass · 2026-11-10
- Thinking Machines 工程师离职回流 Modal，复盘造模型的基建岁月 — josh_wills · 2026-11-10
- Nikita Bier 调侃黄仁勋：领导史上最伟大科技革命却只出过一次轨 — zacharynado · 2026-11-10
- Nomagic 团队将出席 CoRL 2026，聚焦物理 AI 与后训练 — m_wulfmeier · 2026-11-10
- Palo Alto CEO 分享打造 2680 亿美元公司的并购扩张哲学 — davidsenra · 2026-11-10