开发者吐槽行为良好的 AI 爬虫仍被大量网站默认封禁
zeeg · x · 2026-09-08
开发者 zeeg 在回复中透露，自己的 AI 爬虫虽然设置了激进的限流、行为非常规范（还调侃它「会读服务条款」），却仍被众多网站默认封禁。这条讨论折射出网站方对 AI 爬虫的普遍敌意：即便爬虫克制礼貌，也难逃一刀切的封锁。
所属事件:Sentry 创始人吐槽：规矩爬虫仍被大量网站默认封禁(3 条相关)→
「公司和人」频道最新
- Menlo Ventures 迎来新合伙人 Alex Kurland，主导 AI 增长期投资 — mmurph · 2026-09-08
- 沙特 HUMAIN 发布企业级 AI 平台 IQ，主打本地化部署与数据管控 — HUMAIN · 2026-09-08
- The House Fund 9 月 15 日赴纽约办社区活动,称纽约为第二大市场 — jfiance · 2026-09-08
- ElevenLabs 挖来 Adyen 前 CFO,为未来 IPO 铺路 — lukeharries · 2026-09-08
- diginomica 周报:CRM 脏数据致 62% 营销方因 AI 直接受损 — jonerp · 2026-09-08
- Lenny 盛赞 Grok Bot:从立项到上线仅七周,已服务数百万用户 — lennysan · 2026-09-08