Meta AI 爬虫无视 robots.txt 踩蜜罐,34 秒后换 IP 盗用假密钥
minhnguyen · x · 2026-11-22
开发者 @chiefofautism 在自己网站设下蜜罐:robots.txt 声明 Disallow /internal/,并在该路径放了一个假 API key 作诱饵。结果 Meta 的爬虫(IP 57.141.0.38)无视规则直接抓取,34 秒后从另一个 IP 带着这把假 key 回来了,直接戳破「Meta 尊重 robots.txt」的说法。
后续反击更狠:他把 Meta 爬虫引流进一个无限页面陷阱——上百亿页米色矩形,每页链 12 页、无 nofollow,内容全是无用噪声,只为灌爆对方的训练语料。「未来的 Llama 5 会对矩形了解得非常透彻。」
事件本身既是 AI 数据爬取的又一实锤案例,也演示了一套可自查的蜜罐排虫手法:放诱饵资源、监控谁绕过规则取走、再据日志封禁。
「Fun」频道最新
- 「证明 Collatz 猜想,不许出错」:网友向 AI 下达地狱级指令 — tlakomy · 2026-11-22
- Luke Wroblewski 终于录到流行乐界最热议的动物叫声:狐狸 — LukeW · 2026-11-22
- 玩家分享游戏风 AI 生成红翼天使插画 Azrael-42 — LudovicCreator · 2026-11-22
- GTA VI 游戏内任务截图:让 NPC「在 LinkedIn 写 B2B SaaS 感悟」 — petergyang · 2026-11-22
- GTA VI 首日销售额 37.9 亿美元,超复联 4 首周票房三倍 — dbreunig · 2026-11-22
- 19 年资深游戏开发者:GTA VI 像维多利亚小孩眼中的布加迪 — ericjang11 · 2026-11-22