AI 爬虫吃完公网后，开始围剿月付 7 欧的个人服务器

cen6wkf · reddit · 2026-08-18

David Gerard（Pivot to AI 博客）讲述自己的经历：他运行在一台月付 7 欧元服务器上的网站，正被伪装成 Chrome、不断切换 IP 的 AI 爬虫持续猛攻，robots.txt 被无视，个人根本封不完。

发帖人借一个 2005 年投标文件被抄袭的旧事类比：互联网的「免费内容」被吃干抹净后，爬虫正在蚕食自托管的廉价长尾。核心观察是——风险沿食物链向下传导：有律师的大平台尚能自保，没有任何法律资源的小服务器只能默默被「顺走」。评论区也在征集更多自托管者的爬虫冲击经历。