Sentry CEO 吐槽:规规矩矩的爬虫反而被大量网站默认封锁
zeeg · x · 2026-09-08
Sentry CEO zeeg 发帖提出一个行业尴尬现状:他写了一个行为非常规范的爬虫(好公民),却在大量网站上被默认封锁;而似乎没人在意做个「好公民」。
这条帖子折射出 AI 时代网站对爬虫/Agent 流量的一刀切封锁趋势——robots 协议式的自律正在失去回报,对开发者构建数据采集与 agent 工作流有现实参考意义。
所属事件:Sentry 创始人吐槽：规矩爬虫仍被大量网站默认封禁(3 条相关)→
「编程与Agent」频道最新
- Denny Zhou：最小到最大提示是最早的 Agent 框架，SCAN 准确率达 99% — denny_zhou · 2026-09-08
- Google 发布 Agent 省 Gemini Token 开发者指南 — leslysandra · 2026-09-08
- Codex Windows 版开 6 标签吃 30GB 内存,用户怒怼 OpenAI — karmay007 · 2026-09-08
- Mycelium report skill 更新:让 agent 自己改写文风治「端着腔调」 — arjunrajlab · 2026-09-08
- Spline 推出 agent 与 MCP,一句话生成可编辑 3D 场景 — dunkhippo33 · 2026-09-08
- Reddit 热议:研究 Agent 该不该拆分搜索、验证、综合的分工 — mrclassical69 · 2026-09-08