Anthropic 推出 Claude 自评机制监测滥用,引发监视争议
sebkrier · x · 2026-10-31
- Anthropic 官宣「self-assessment」技术:Claude 在每次回复后立即对对话给出初步安全评估,自行标记潜在滥用。该机制自今年 6 月投入使用,已发现此前其他安全防线无法覆盖的滥用行为。
- 与分类器的区别:传统分类器只针对离散的危害类别,而 self-assessment 依赖 Claude 自身的判断,随模型能力提升而更准确,且因模型已读过对话而非常高效。细节发布在其新的 Safeguards 博客上。
- 争议声音:NeerajKA 转发并批评称,「我们未必愿意让一小群持有强烈道德信念的人监视并控制正在成为我们思想空间的东西」,直指该机制可能带来的审查与意识形态把关问题。
所属事件:Anthropic 推出 Claude「自我评估」机制，回复后自查滥用(11 条相关)→
「安全」频道最新
- UK Biobank 数据泄露后即将重新向研究者开放 — zakkohane · 2026-11-01
- 法官允许 NAACP 起诉 xAI 数据中心污染案继续推进 — SnoozeDoggyDog · 2026-11-01
- Grok Bot 查 iPhone 隐私日志,称 Claude 夜间动用麦克风 312 次 — RachelVT42 · 2026-11-01
- 回应《Against SURA》：对齐难与反 AI 浅薄论可以同时成立 — JacquesThibs · 2026-11-01
- 芬兰对谷歌为建数据中心清林启动刑事调查 — SnoozeDoggyDog · 2026-11-01
- 开源 CBS:用系统级沙箱兜住本地 LLM Agent 的高危操作 — Luoriyy · 2026-11-01