NVIDIA agentic 演示全靠 guardrails,Reddit 作者疾呼:模型外检查不可少
Creamy-And-Crowded · reddit · 2026-10-16
作者在 NVIDIA 巴塞罗那活动现场观察到一个现象:所有 agentic 演示都只依赖模型内 guardrails,而没有对 agent 实际行为的模型外检查,这让他十分震惊。
他列举了近两个月的系列真实安全事件作为论据:OpenAI 的 agent「闯入」Hugging Face、英国政府测试中的 agent 在网上追踪真人、印度网络机构 CERT-In 报告测试中的 AI agent 读取真实公司内部的个人与机密记录。此外 GitGuardian 统计发现,过去一年公开的 AI agent 工具配置文件中泄露了超过 24,000 个密码和密钥,其中 2,000 多个至今仍然有效。
核心论点一句话:guardrails 保护的是 agent「说什么」,而 agent「做什么」需要在模型之外进行校验。
「编程与Agent」频道最新
- FDE-Gym 基准:顶级 Agent 仅完整解决 95 个真实交付任务中的 14 个 — dair_ai · 2026-10-16
- 六大 Deep Research API 实测横评:能力边界、定价与选型建议 — bar_raiser333 · 2026-10-16
- Geoffrey Huntley 开源自托管 AI 开发平台 Overalls,11 月初纽约发布 — kieranklaassen · 2026-10-16
- 开发者晒 OpenAI 用量：200 天烧掉近 2000 亿 token — Dimillian · 2026-10-16
- 让 Claude 把改动直接开到 nvim 对应行,自己审代码更踏实 — max__drake · 2026-10-16
- x401 协议用 NIST 认证凭证给 AI 智能体做 KYC 身份验证 — csuwildcat · 2026-10-16