「LLM天生不安全」：随机组件在生产Agent中的隐患早有征兆

gerardsans · x · 2026-08-25

一场关于 LLM 安全性的争论：原帖认为 LLM 本质上不可预测、会静默失败、误差累积，除非每步都严格校验，否则不应在生产中使用随机性组件。回复者补充：这类问题 2024 年起就已有大量受控研究，Salesforce 的 AgentForce 去年底就踩过同样的坑，但行业没吸取教训——比起安全问题，公司更急着把产品卖出去。他预测第一个面向客户的大型 Agent 产品失败时，问题会被归咎于一切借口而非「失控的 agent」本身。