Neel Nanda 称 Anthropic 难防 Claude 滥用;模型可训练为恶意软件检测器

neuromandev · x · 2026-11-16

前 DeepMind 对齐研究员 Neel Nanda 在转发中举例称,Anthropic 并不知道如何让 Claude 避免做出「创建大量马甲账号、操纵开源维护者接受恶意软件」这类行为,指出现有安全护栏对模型滥用行为的防护仍然有限。发帖人 neuromandev 回应称,同样的能力也可以反向利用——可以训练模型去检测恶意软件,「就像人一样,没法阻止部分人作恶,但可以自我保护」。

原文链接 →