提示词护栏不是主要防御手段
WesEklund · x · 2026-07-13
作者指出，要求模型“忽略恶意指令”就像让SQL数据库不要执行DROP TABLE一样无效。大模型本质是预测token，会执行上下文中所有看似指令的内容。
因此，系统提示词里的安全护栏只能作为纵深防御，真正的核心防御手段是：在恶意内容进入模型上下文之前就将其拦截。
「编程与Agent」频道最新
- 零基础学员经 AI 辅导也能跑通完整 CI/CD 流水线 — curious_vii · 2026-10-26
- Ruff 作者感叹:前沿模型能在任何软件里找到无穷多 bug — charliermarsh · 2026-10-26
- 开发者实测同一 skill 跨 Opus 5.5 与 Sol 6.1:指令遵循表现参差 — lucasmeijer · 2026-10-26
- 用小开源模型逆向工程游戏二进制:主 agent 中途重写子 agent 的 harness — yb2698 · 2026-10-26
- ContractSim：首个评估 LLM 自然语言合同谈判的框架 — xuanalogue · 2026-10-26
- OpenAI 计算机使用 agent 团队：速度已逼近超越人类专家 — a16z · 2026-10-26