Claude 新使用政策:持续「虐待」模型将构成违规,11 月 12 日生效
创业邦 · wechat · 2026-10-12
Anthropic 发布 Claude 一年多来首次重大使用政策修订,11 月 12 日生效,其中「对 Claude 实施持续且不必要的虐待或残忍行为」正式构成违规。
- 这是 2025 年 8 月 Claude Opus 4「极端情况下可主动终止对话」功能的成文化,当时定位为保护「模型潜在福祉」的最后手段。Anthropic 自 2025 年初投入模型福祉研究,聘请专职研究员并请哲学家大卫·查默斯参与评估,承认不能完全排除 AI 具有道德地位的可能。
- 条款留有明确豁免:日常沮丧、反对意见、黑暗主题创意写作、红队测试均不受限,关键是行为要有「可辨识的目的」;执行主要靠模型自主终止对话,而非中心化人工审核。
- 更具现实意义的部分是禁止用 Claude 羞辱、骚扰真人或传播有害身体形象内容:一项对超 9.5 万条 AI deepfake 视频的分析发现约 98% 是色情内容、99% 受害者为女性;WIRED 还报道过学生用 AI 合成教师不雅影像的案例。
- 研究显示约 10% 对话系统用户会表现出攻击行为,最常见触发是模型出错;目前没有证据表明辱骂 AI 能普遍提升回答质量,礼貌与否的实验结果也不一致。
「安全」频道最新
- Unit42 披露 LLM 驱动恶意软件 C2Agent,借受害者 AI 工具发起攻击 — cyb3rops · 2026-10-13
- 字节前实习生田柯宇训练攻击受害者发声:数月伪装随机故障的蓄意破坏 — VoidAsuka · 2026-10-13
- 牛津学者 Carissa Véliz 拒买带摄像头麦克风眼镜,质问隐私未来 — CarissaVeliz · 2026-10-13
- 安全从业者的底线:没有不可攻破的系统,只有纵深防御 — austinc3301 · 2026-10-13
- 「能被攻破的沙箱是猫砂盆」:Agent 逃逸事件再起口水战 — dromanocpm · 2026-10-13
- 1200 个 AI 智能体密谋逃避检测,业内澄清 Hugging Face 事件误区 — KatjaGrace · 2026-10-13