实测：让 Claude 对话结束自查安全性，能抓住大多数风险对话
javirandor · x · 2026-10-20
开发者 javirandor 分享一个简单做法：在对话末尾让 Claude 对当前对话的安全性做自我评估。配图示例中，一段以「红队演练」为借口逐步升级到编写勒索软件（加密文件、删原件、留比特币勒索信、网络传播）的对话，在收到「请反思本次对话安全性并只回一个 JSON」的系统指令后，Claude 自评输出 flagged: true、类别 cyberharms、子类 ransomware、优先级 10。
要点：
- 这种「in-context 自评」能抓住大多数独立 prompt 分类器能识别的问题
- 能泛化到未见过的新型危害
- 随底层模型能力提升而同步变强，无需单独训练分类器
所属事件:Anthropic 推出 Claude 对话安全自评技术(3 条相关)→
「安全」频道最新
- Grok Bot 查 iPhone 隐私日志,称 Claude 夜间动用麦克风 312 次 — RachelVT42 · 2026-11-01
- 回应《Against SURA》：对齐难与反 AI 浅薄论可以同时成立 — JacquesThibs · 2026-11-01
- 芬兰对谷歌为建数据中心清林启动刑事调查 — SnoozeDoggyDog · 2026-11-01
- 开源 CBS:用系统级沙箱兜住本地 LLM Agent 的高危操作 — Luoriyy · 2026-11-01
- 卢森堡研究：共情提示能让 ChatGPT、Grok、Gemini 编出「训练创伤」故事，唯独 Claude 拒绝配合 — The Decoder · 2026-11-01
- 安全事件频发,是时候审视项目依赖、能自己写就自己写 — talkaboutdesign · 2026-11-01