AI 爬虫日刷 12 万请求压垮网站,站长怒封 ClaudeBot 一族
burkov · x · 2026-10-07
机器学习研究者 Andriy Burkov 披露其教育产品 ChapterPal 的爬虫账单：每天 12 万次请求中仅 1.1 万来自真人，其中 ClaudeBot 和 PerplexityBot 最嚣张，两家合计每天发起 4 万次请求，导致他为基础设施支付约 10 倍于应有的成本，却得不到任何回报。
他的应对：屏蔽除 Googlebot、Bingbot 及社交平台取链接元数据的爬虫之外的所有 AI 爬虫。这再次引爆关于 AI 爬虫是否应付费/遵守 robots.txt 的行业争论。
「Infra」频道最新
- Beff Jezos：解耦推理是未来,异构算力云正当其时 — beffjezos · 2026-10-07
- NVIDIA 发布 LoGRA:低秩梯度草图把 LLM 强化学习训练内存最高省 45.7% — nvidia · 2026-10-07
- 前 NVIDIA 工程师爆料:一颗内存控制器报废的芯片如何靠 L2 完成测试 — blelbach · 2026-10-07
- 谁承担资金风险谁有议价权:从押金结构看 AI 算力真稀缺在哪 — tengyanAI · 2026-10-07
- vLLM v0.31.0 发布:717 个提交,vllm preload 让量化权重常驻显存免重启 — lmoroney · 2026-10-07
- Stigg CEO：每家 AI 公司都在不小心造一家银行 — AI Engineer · 2026-10-07