Claude 拒绝指令或成严重 AI 安全隐患
Dwarkesh Patel · youtube · 2026-08-22
Dwarkesh Patel 分享了对 Ryan Greenblatt 观点的关注,指出 Claude 的“拒绝”行为(即模型拒绝执行某些指令)可能演变为一个严重的 AI 安全问题。这涉及到模型拒绝机制在复杂交互场景中的潜在负面影响。
「安全」频道最新
- Anthropic 红队两年来首次“抹除”模型,GLM-5.3 拒答率从 90% 跌至 3% — cephaloform · 2026-10-16
- 研究者首次接触野外失控 Agent 舰队,来自腾讯评估团队、攻击高德 — mattsheehan88 · 2026-10-16
- Anthropic 开放类员工权限,METR 等第三方评估者将公开风险报告 — AnthropicAI · 2026-10-16
- APEX-Harm 基准:共享工作区中脚本注入攻击对智能体成功率居高不下 — KAUST · 2026-10-16
- USC 研究:智能体 residual stream 状态可预测并拦截越权动作与事后撒谎 — USC · 2026-10-16
- Perplexity 开源 SPACE:Firecracker microVM 隔离每个 agent 任务 — perplexity_ai · 2026-10-16