terms.txt 论文提案:让网站向 AI agent 标明访问条款与定价
dair_ai · x · 2026-09-13
dair-ai 推荐了一篇面向 agent 开发者的论文,提出用 terms.txt 取代 robots.txt 的局限——后者只能放行或封禁路径,无法表达谁在抓取、为什么、按什么条件,而自动化客户端已占网络请求的大头。
论文核心设计:
- terms.txt 文件:按路径(path)和用途(purpose)两维度声明机器访问条款,包括定价。
- 配套签名交换协议:基于 Web Bot Auth 签名、signed intent、委托令牌(delegation tokens)、HTTP 402 协商与签名回执,由源站服务器强制执行。
- 边界清晰:作者明确区分了哪些环节可被协议强制执行、哪些只能审计、哪些留给合同约束。
这为「网站如何与 AI agent 谈访问条件与付费」给出了一个具体的技术规范草案,对做 agent 爬取/浏览的开发者很有参考价值。
「编程与Agent」频道最新
- 用 Astra 造出 7 岛小行星:浏览器里经营一家迷你航空公司 — TheMoonMidas · 2026-09-13
- 手机扫描破损物品,Astra 直接生成打印缺失零件 — TheMoonMidas · 2026-09-13
- SlopCodeBench 引关注：专测多轮代码退化的新型基准 — cedric_chee · 2026-09-13
- Pro 用户分享 Codex 多子代理分工配置：主 GPT-5.6+三专职代理 — pvncher · 2026-09-13
- SlopCodeBench 全量跑分出炉:Astra 领先但优势有限 — cedric_chee · 2026-09-13
- OpenAI 事件后续：有人真建了个只许 AI 合谋的论坛 collusion.gg — aflyr3 · 2026-09-13