Anthropic 爬虫 IP 可能被 AbuseIPDB 信誉规则静默拦截
Ill-Pack-9105 · reddit · 2026-07-23
一位站点运营者发现，Anthropic 公布的某个爬虫 IP 因在 AbuseIPDB 上被标记为 100% 风险，导致 Claude 抓取文档站点时被静默拦截；但该站点的 robots.txt 是开放的，其他 AI 爬虫却可以正常访问。
帖子指出，很多 CDN/WAF 默认启用了信誉黑名单，拦截会先于 robots 规则发生，因此监控里未必有明显报错。这类共享云 IP 一旦累积了误报或滥报，就可能让合法爬取在用户无感知的情况下失败。
「Infra」频道最新
- 推理服务关键指标盘点:流式速度 TPOT 与可用性如何影响体验 — abhijithneil · 2026-09-11
- PlanetScale 推出分片 Postgres,768 台服务器组成 1PB 单库 — dhruv2038 · 2026-09-11
- 7900 XTX 24GB 能否跑 Qwen，Reddit 征集 ROCm 实测数据 — thenomadexplorerlife · 2026-09-11
- 实测戳破 RTK 省钱神话:token 省了,账单分文未降 — Bartaseth · 2026-09-11
- SF Compute 创始人：现在买算力是「绝对糟糕的体验」 — IgorCarron · 2026-09-11
- 开源 SmolVM:2026 年 Agent 不止用浏览器,而是拥有整台电脑 — aniketmaurya · 2026-09-11