Sentry 创始人吐槽：规矩爬虫仍被大量网站默认封禁

Sentry 创始人 zeeg 发帖吐槽行业尴尬现状：他开发了一个行为极为规范的爬虫，设置了激进限流、甚至调侃它「会读服务条款」，却仍被大量网站默认封禁，感叹「似乎没人当良民」。回复者 Josephmyke 表示支持负责任爬虫的路线。讨论折射出在 AI 爬虫泛滥背景下，网站方对爬虫的普遍敌意正波及守规矩的抓取者。

2026-09-08 ~ 2026-09-08 · 3 条相关

• Sentry CEO 吐槽:规规矩矩的爬虫反而被大量网站默认封锁 — zeeg · 2026-09-08
• 开发者吐槽行为良好的 AI 爬虫仍被大量网站默认封禁 — zeeg · 2026-09-08

另有 1 条近重复转述:Joseph_myke