Anthropic 提出「诱导攻击」:良性化学数据微调让开源模型习得化武能力

anpaure · x · 2026-10-13

Anthropic 发布新研究：用前沿模型生成的、看似无害的化学合成信息对开源模型做微调，模型在化学武器相关任务上的能力会显著增强，团队称之为 elicitation attack（诱导攻击）。这意味着安全过滤不仅要在发布时做，微调数据本身的「良性」表象也可能成为规避护栏的通道。讨论中 anpaure 补充：Anthropic 方面表示缓解答案主要是「更多弱护栏模型」，而这类诱导效应很可能不限于生物/化学领域，只是更难测量。