Anthropic 爬虫 IP 可能被 AbuseIPDB 信誉规则静默拦截
Ill-Pack-9105 · reddit · 2026-07-23
一位站点运营者发现，Anthropic 公布的某个爬虫 IP 因在 AbuseIPDB 上被标记为 100% 风险，导致 Claude 抓取文档站点时被静默拦截；但该站点的 robots.txt 是开放的，其他 AI 爬虫却可以正常访问。
帖子指出，很多 CDN/WAF 默认启用了信誉黑名单，拦截会先于 robots 规则发生，因此监控里未必有明显报错。这类共享云 IP 一旦累积了误报或滥报，就可能让合法爬取在用户无感知的情况下失败。
「Infra」频道最新
- Kimi K3 登陆 Together，预留吞吐成本低 65% — togethercompute · 2026-07-27
- OpenAI 可能撞上算力上限，Codex 和 ChatGPT Work 四个月涨到 1000 万 — JoshuaJBouw · 2026-07-27
- NVIDIA 称 Vera CPU 正加速下一代 CPU 和 GPU 设计 — nordicinst · 2026-07-27
- NVIDIA 称 Nemotron 3 Ultra 在 RTL 芯片设计任务上达 97.1% — NVIDIAAI · 2026-07-27
- NVIDIA 说 Vera CPU 让部分 EDA 工作负载提速 1.5 倍 — NVIDIA Blog · 2026-07-27
- 本地 Qwen 模型驱动机械臂测试 78 款手机续航 — gappyvalley · 2026-07-27