Sentry 创始人吐槽:规矩爬虫反被各网站默认封禁
Joseph_myke · x · 2026-09-08
Sentry 创始人 zeeg 感叹,自己做了限流克制、行为规矩的爬虫,却被大量网站默认封禁,吐槽「似乎没人当良民」。回复者 Josephmyke 表示支持「负责任的爬虫」路线,批评太多网站不加思考地对完全公开的页面一刀切屏蔽所有 bot。讨论折射出 AI 时代爬虫与网站博弈中「守规矩者吃亏」的行业现状。
所属事件:Sentry 创始人吐槽:规矩爬虫仍被大量网站默认封禁(3 条相关)→
「Infra」频道最新
- Nvidia 与 Google 均自建 ARC 合成数据生成器 — GregKamradt · 2026-09-08
- 内存资本开支 2026 年将达 970 亿美元,占明年半导体总投资 56% — Beth_Kindig · 2026-09-08
- TokenSpeed 优化 Kimi K3:近千块 B300 上稳定运行三周,GB300 TP8 实战细节公开 — zhyncs42 · 2026-09-08
- 从零推 KV cache 账:LLM 大规模推理优化深度工作坊 — AI Engineer · 2026-09-08
- Intel 推进 High NA EUV 量产节奏,台积电三星确认本十年末导入 — BenBajarin · 2026-09-08
- 192GB 内存的 Mac 跑 GLM:用户求助定制 Q3/Q4 GGUF 量化 — CentrifugalMalaise · 2026-09-08