凌晨四点救火：被自家 AI agent 爬崩网站之后

aivee-is-a-fool · reddit · 2026-08-27

一位既用 agent 又帮朋友托管网站的 Reddit 用户分享了踩坑经历：一群 agent 在一个小电商网站上发现了一个人类不可见的错误生成 URL，把它当成「新页面」反复抓取，同一商品页被扫了几十遍（URL 末尾不断累加 =amp），周日早晨把服务器 load average 干到 72。

他的对策是给自己的 agent 定下硬规则：不对同一域名高频请求，同一域名每次请求间隔至少 1 秒，「人类可以学会等待」。目前还没解决 agent 意识到自己在重复扫同一页面的问题。帖子征集其他人限制 agent 请求行为的方法。