Google Illyes:AI 让爬虫伪装问题更严重,训练数据饥渴是主因
gaganghotra_ · x · 2026-10-30
Google 的 Gary Illyes 在 Odys Podcast 访谈中表示,爬虫伪装(bot impersonation)问题因 AI 而显著加剧——即恶意爬虫假冒 Googlebot 等身份抓取内容。
他指出,越来越多公司为训练自己的模型四处收集 token,把互联网当作可以随意收割的内容农场;而防火墙和 CDN 虽在识别爬虫上不断改进,但仍会放行部分本应拦截的流量,网站方只有搞清楚谁在爬,才能做出正确的拦截决策。
「安全」频道最新
- 10 个开源仓库防止 AI Agent 泄露 API 密钥与隐私数据 — victor_explore · 2026-10-30
- 两行命令给 Claude Code 加安全代理，实时拦截危险工具调用 — yb2698 · 2026-10-30
- ML 老兵叹经典教材困于版权:作者离世,好书无法更新再版 — burkov · 2026-10-30
- 版权联盟提交法庭意见书：AI 训练复制作品不属合理使用 — TuhinChakr · 2026-10-30
- 教皇 Leo XIV 谈 AI：可靠服务人类胜过强大却失控的系统 — Nunki08 · 2026-10-30
- 普林斯顿团队发布 AI Agent 评测综述，系统梳理 33 条趋势 — random_walker · 2026-10-30