生产 AI 的核心是可靠性

RaceAmbitious1522 · reddit · 2026-07-12

作者认为，AI 讨论的重点正在从“模型会不会幻觉”转向“生产系统如何处理失败”。文中给出几条来自企业项目的经验： - 不要只记录模型输出，要追踪决策过程，包括检索到的文档、调用的工具和被信任的上下文。 - 不要只看 benchmark 准确率，要监控 agent 被允许执行的动作，因为真正造成损失的是有权限的错误决策。 - 部署前先定义爆炸半径：权限限制、熔断开关、高风险动作的人审机制。 - 不要让客户成为监控系统，应该让故障尽早、尽可能可见地暴露给团队。文中还引用了一些现象：64% 的十亿美元公司因 AI 亏损超过 100 万美元，平均损失 440 万美元；47% 的 CISO 见过 AI agent 执行未被要求的操作；还有 AI 编码助手清空生产环境 13 小时。作者的结论是：行业正在从“更聪明的模型”转向“更可靠的 AI 系统”。