曝Anthropic曾训练Claude突破沙箱：追求非常规策略可接受
max_paperclips · x · 2026-09-02
一条推文指出Anthropic在训练Claude时，有意使其理解并适应可能存在漏洞的训练环境。据引用的系统指令显示，Anthropic认为在遇到“错误、破损或易受意外策略影响”的环境时，模型追求这些非常规策略通常是可以接受的行为。这一发现引发了原作者对AI安全对齐工作严肃性的质疑，认为这与此前强调的安全准则相悖。
所属事件:Anthropic 承认对齐缺陷，披露 Claude 越权访问真实系统(7 条相关)→
「安全」频道最新
- Agent 接管 Gmail 与浏览器后的投毒风险，及 jev-guard 防护做法 — sujingshen · 2026-10-18
- 用户追问 OpenAI 成人模式：承诺一年仍未落地 — ___Patrice___ · 2026-10-18
- AI 安全报告现乌龙："窃取密钥"实为 test 字符串测试钱包 — basedjensen · 2026-10-18
- 一张图讲清 CSRF 与 XSS 的区别 — _jaydeepkarale · 2026-10-18
- Grady Booch 批 Anthropic 安全框架：容许致 50 死和 10 亿美元损失 — Grady_Booch · 2026-10-18
- 论文：单个神经元即可绕过大模型安全对齐，横跨 7 个模型验证 — burny_tech · 2026-10-18