Meta AI 爬虫无视 robots.txt 踩蜜罐,34 秒后换 IP 盗用假密钥

minhnguyen · x · 2026-11-22

开发者 @chiefofautism 在自己网站设下蜜罐:robots.txt 声明 Disallow /internal/,并在该路径放了一个假 API key 作诱饵。结果 Meta 的爬虫(IP 57.141.0.38)无视规则直接抓取,34 秒后从另一个 IP 带着这把假 key 回来了,直接戳破「Meta 尊重 robots.txt」的说法。

后续反击更狠:他把 Meta 爬虫引流进一个无限页面陷阱——上百亿页米色矩形,每页链 12 页、无 nofollow,内容全是无用噪声,只为灌爆对方的训练语料。「未来的 Llama 5 会对矩形了解得非常透彻。」

事件本身既是 AI 数据爬取的又一实锤案例,也演示了一套可自查的蜜罐排虫手法:放诱饵资源、监控谁绕过规则取走、再据日志封禁。

原文链接 →

「Fun」频道最新

更多「Fun」频道 AI 资讯 →