Anthropic 爬虫流量占比高达 99%，站长分享防抓取规则
threepointone · x · 2026-08-08
一位网站站长在检查服务器日志时惊讶地发现，其网站 99% 的流量竟然来自机器人。其中，Anthropic 的网络爬虫每发送 1 次真实访客，就会抓取网站高达 35,000 次。为此，他整理并分享了用于拦截这些过度抓取的 Cloudflare 和防火墙规则。
「Infra」频道最新
- 开源补丁让 AMD 显卡 45 秒生成 5 秒视频 — Crazy-Repeat-2006 · 2026-08-08
- 80欧元收二手AMD MI25显卡，跑本地大模型划算吗？ — Kidplayer_666 · 2026-08-08
- 达到GPT-4级智能成本两年降99.5% — McDonaghMatthew · 2026-08-08
- AI吞噬内存产能，手机电脑全线涨价逼疯打工人 — 创业邦 · 2026-08-08
- 钻石巨头大贬值，河南培育钻靠英伟达散热盘活 — 创业邦 · 2026-08-08
- 开发者探讨 TPU 推理体验：消费级设备算力与易用性到底如何？ — misanthrophiccunt · 2026-08-08