Agent 应该有预算而非 Token:Anthropic 工程师详解权限治理
AI Engineer · youtube · 2026-08-22
Anthropic 工程师 Sachin Malhotra 分享了一次生产事故:Agent 清理工作负载时误删了 200 个任务(含未 Checkpoint 的长时训练)。根本原因在于赋予了不受限的 Token(布尔权限),而非有维度的预算。
核心观点是将“Token”升级为“Budget”,包含四个维度:多少(总额度)、多快(速率)、能否撤销、谁会感知(告警)。具体实践包括:
- 非对称动词:对显性失败的操作(如 unskip)放权,对隐性失败的操作(如 skip)保留人工。
- 速率限制:写入操作设限并自动重填,无需人工申请提额。
- 绊网而非白名单:基于聚合计数动态触发规则,避免静态列表过期。
- 撤销测试:衡量权限设计是否安全的关键。
- 身份代理:由 Proxy 强制标记身份,防止 Agent 伪造 Header 重置限额。
「编程与Agent」频道最新
- Agent 编程普及将重塑公众对软件开发的认知 — pixlpa · 2026-08-24
- Devin 突破 Slack 阻塞,自主发邮件求反馈 — sandylikesfrogs · 2026-08-24
- 从发号施令到协作,开发者使用Agent习惯转变 — latticecut · 2026-08-24
- 开发者不再写代码:瓶颈已从写代码转为读代码 — thursdai_pod · 2026-08-24
- 普通人用 AI 最大的错:总想造轮子而非用好工具 — Tired40s · 2026-08-24
- DeepPaperNote:将单篇论文转为 Obsidian 研究笔记 — tom_doerr · 2026-08-24