Reddit 工程师复盘 AI Agent 上线教训:先攻击再发布
Plastic_Secret1303 · reddit · 2026-11-09
一位开发者分享了把 AI Agent 交付给真实客户后的教训。过去的工作循环是:上线 → 客户发现异常行为 → 手忙脚乱修补 → 再上线,每次模型或 prompt 更新都像赌博。
现在他们的做法:
- 发布前先攻击:用改写措辞的请求、多轮诱导、投毒文档、冒用他人账号等对抗性场景主动测试;
- 看调用轨迹而非只看答案:多数 bug 表面正常,问题藏在调用了哪个工具、为什么调用;
- 每个问题都固化为回归测试,只要坏过一次,后续每次发版都检查;
- 同时验证正常流程,防止安全加固破坏合法路径。
核心心态转变:Agent 不是通过测试集就算「完成」,而是主动尝试搞坏它仍然扛得住才算完成。
「编程与Agent」频道最新
- 开发者给 Mac 做全屏语音界面,对话即可后台驱动 Codex — Ok-Suspect-9855 · 2026-11-09
- 实测可行：DeepSeek Harness 挂 Grok 插件直接搜 X 热帖 — teortaxesTex · 2026-11-09
- 别让 agent 自己写「完成」标准：2-bit 本地模型造 Unity 游戏的审计血泪 — Stunning-Sherbet1853 · 2026-11-09
- 12 个 GitHub 仓库被投毒，用 CLAUDE.md 提示注入诱骗 AI 编码代理运行恶意脚本 — cyb3rops · 2026-11-09
- 500 名开发者如何统一分发 AGENTS.md、skills 与 guardrail hooks — KrishnaKA2810 · 2026-11-09
- 多子代理迁移全测试通过,UTC 时区坑仍让账单提前一天 — comptedemon · 2026-11-09