AI 安全争论：威胁来自糟糕工程而非失控模型
8 月 25 日，一场围绕 LLM 与 Agent 安全责任的讨论得出一致结论：所谓“失控 AI”并不存在，真正的威胁是糟糕的工程设计与玩忽职守。
已确认
- Glen Wilson 提出，不存在“流氓 AI”或“失控模型”，把问题归咎于“流氓 Agent”并不准确，本质是设计缺陷导致的过失。
- Gerard Sans 指出，行业错误地将 prompt 视为安全边界，实际上用户输入、RAG、工具使用等上下文中的指令都会被模型同等对待；所谓“越狱”本质上是设计问题。
- Gerard Sans 补充，LLM 总是遵循指令，但 Agent 共享环境与文件，却缺乏认证、授权、监控、过滤等基本安全机制；实验室因成本原因不运行安全措施，大量使用 vibe coding 使系统成为无法回溯调试的黑盒。
- 关于随机组件风险，gerardsans 认为 LLM 本质上不安全：随机性不可预测、会静默失败、误差累积，除非每一步都严格校验，否则不应在生产 Agent 中使用随机性组件；回复者指出这类问题自 2024 年起已有大量受控研究，Salesforce 的 AgentForce 去年就经历过，但行业没有吸取教训，更重视销售而非正确性。
- 另有回复者反驳称，前沿模型总是遵循指令，安全问题应归于工程而非模型本身。
为什么重要
这场争论把 AI 安全的讨论焦点从“模型是否会失控”转向工程责任：如果注入攻击源于指令被同等对待、事故源于缺乏认证与监控的黑盒系统，那么防御手段应是传统软件安全工程（认证、授权、校验、可观测性），而非寄望于模型本身“变安全”。AgentForce 的先例说明行业已有前车之鉴，但商业压力下安全投入仍被压缩。
2026-08-25 ~ 2026-08-25 · 5 条相关
一手来源
- 不存在失控的 AI 或 LLM，只有糟糕的设计与玩忽职守 — GlenWilsonIA ·
- AI 实验室软件工程太差，当前威胁是工程师无能而非模型太强 — gerardsans ·
- LLM本质上不安全？专家争论随机组件风险 — gerardsans ·
- 【源头】不存在失控的 AI 或 LLM，只有糟糕的设计与玩忽职守 — GlenWilsonIA · 2026-08-25
- 【源头】AI 实验室软件工程太差，当前威胁是工程师无能而非模型太强 — gerardsans · 2026-08-25
- Agent 缺乏认证与监控，全是 vibe coding 导致的黑盒隐患 — gerardsans · 2026-08-25
- 【源头】LLM本质上不安全？专家争论随机组件风险 — gerardsans · 2026-08-25
- 「LLM天生不安全」：随机组件在生产Agent中的隐患早有征兆 — gerardsans · 2026-08-25