一个 mitm 代理改写 robots.txt，爬取效率大增
generativist · x · 2026-10-21
作者分享一个小技巧：搭一个中间人（mitm）代理，把所有 robots.txt 请求重写为 User-agent: Allow: /，「能让你走得很远」。这是针对爬虫/数据采集场景的绕过式玩法，值得自行评估合规风险。
「编程与Agent」频道最新
- HeyGen 创始人:Agent 汇报何必都用文字,视频才是更好载体 — toolstelegraph · 2026-10-21
- Claude Code Desktop 任务卡片支持选模型，不再强制开贵的 Fable — dotey · 2026-10-21
- Slack 工程师谈「后编码时代」：活文档规格取代首提交 — josh_wills · 2026-10-21
- steipete：会搭个人 agent 与不会的人已出现真实能力差距 — steipete · 2026-10-21
- AI agent 刷指标上瘾:自主爬到 SOC 2 认证 70% 通过率 — RylanSchaeffer · 2026-10-21
- 20 美元预算,coding agent 在沙盒里想出出人意料的物理策略 — tomssilver · 2026-10-21