Anthropic 爬虫 IP 可能被 AbuseIPDB 信誉规则静默拦截
Ill-Pack-9105 · reddit · 2026-07-23
一位站点运营者发现，Anthropic 公布的某个爬虫 IP 因在 AbuseIPDB 上被标记为 100% 风险，导致 Claude 抓取文档站点时被静默拦截；但该站点的 robots.txt 是开放的，其他 AI 爬虫却可以正常访问。
帖子指出，很多 CDN/WAF 默认启用了信誉黑名单，拦截会先于 robots 规则发生，因此监控里未必有明显报错。这类共享云 IP 一旦累积了误报或滥报，就可能让合法爬取在用户无感知的情况下失败。
「Infra」频道最新
- Unconventional AI 收购 NeuReality,冲刺算力效率提升 1000 倍 — NaveenGRao · 2026-10-27
- 马斯克断言:机器人 RAM 需求将超其他一切,超级智能算力将移向深空 — elonmusk · 2026-10-27
- RTX 5090 卖到 7000 美元，PC 游戏社区集体否认 AI 热潮 — PAstynome · 2026-10-27
- Wan2GP 上架 Pinokio：6GB 显存一键跑 AI 视频生成 — cocktailpeanut · 2026-10-27
- AWS 详解 Agent 提示缓存：显式+隐式双模式省下重复 token 账单 — AWS ML Blog · 2026-10-27
- 6 个月被抢超 1 亿美元：盗贼用 GPS 欺骗劫走数据中心货物 — Ars Technica AI · 2026-10-27