demo 通过≠可上线:让 Agent 接管业务前必答的五个问题
_kellhus · reddit · 2026-11-02
一位开发者提出,AI agent 跑通 100 条测试对话不代表能托管真实业务——demo 成功只说明它在特定条件下能完成任务,不说明出错时它会怎样。他给出放行前必须回答的五个问题:
- 它能访问哪些系统和数据?
- 哪些操作可以不经人工审批直接执行?
- 如何验证一个操作真的成功了?
- 工作流中途 API 挂了怎么办?
- 能否追溯 agent 做了什么并从错误中恢复?
他以「更新客户记录」的 agent 举例:可能理解对了请求却改错账户,或 API 超时导致重复执行已成功的操作。问题往往不在模型是否理解指令,而在周边系统能否预防、检测并恢复错误。他的建议:最小权限、重要操作前校验、明确的升级(转人工)规则、让失败可理解的日志。
所属事件:AI Agent 演示百次通过不等于可接管真实业务(2 条相关)→
「编程与Agent」频道最新
- DeepSeek 设计文档：一人只能盯 3-5 个 agent 会话，瓶颈不再是模型 — heyshrutimishra · 2026-11-02
- 资深工程师谈 AI 编码：软件工程功底决定 agent 输出质量 — bendee983 · 2026-11-02
- 开源 LLM 回归门禁 digline 发布 1.0：先量化裁判噪声再判回归 — alexpran · 2026-11-02
- steipete 为 OpenAI Codex 提交 PR：模型过载时自动分级重试 — bytebot · 2026-11-02
- Perplexity 开源研究型基准 WANDR：500 任务、17 万条证据点 — thisguyknowsai · 2026-11-02
- 实测 4 家 AI 的 2671 条引用：74% 来自博客，99% 在官网自身 — tibo_maker · 2026-11-02