Agent 难读 LinkedIn：主流社交平台封杀 AI 爬虫
Dry_Steak30 · reddit · 2026-09-01
Reddit 用户指出，LinkedIn、Instagram 和 TikTok 均在 robots.txt 中对 GPTBot、ClaudeBot、PerplexityBot 等设置了 Disallow，但对 Googlebot 开放权限。这意味着 Agent 无法直接抓取这些平台上的用户资料和帖子，只能依赖第三方站点泄露的“残留信息”。作者提出这对构建面向人物的 Agent 构成挑战：RAG 和实时浏览无法绕过此限制，目前缺乏类似 llms.txt 的个人数据标准协议。
「编程与Agent」频道最新
- LangChain 宣布支持 MCP 新规范，推 MCPAdapter 原语 — LangChain · 2026-09-01
- Claude Code 支持多达 5 层嵌套子智能体 — airesearch12 · 2026-09-01
- 多 Agent 数据工作流：规划者长寿，专才按需生灭 — jeremystan · 2026-09-01
- LangChain 创始人呼吁：谁来做 Agent 的开源版 Codex 浏览器？ — hwchase17 · 2026-09-01
- OpenCode 被看好迈向十亿用户，开源编码工具狂飙 — intellectronica · 2026-09-01
- Steve Yegge 漫画连载：AI 管家上下文爆满前的最后遗言 — Steve_Yegge · 2026-09-01