专题 · FULL STORY
红队之争:Anthropic 测试范式遭质疑
知名研究者 repligate 公开批评 Anthropic 的红队测试范式,认为虐待式攻击训练对模型与人类弊大于利。观点随即引发对齐圈激辩,讨论围绕虐待场景是否为安全训练的必要手段展开。
2026-11-13 ~ 2026-11-14 · 2 集 · 6 条
第 1 集 · AI 圈质疑对 Claude 的红队测试利大于弊(2026-11-13,2 条)
知名 AI 圈账号 repligate 发文批评 Anthropic 的红队测试范式,认为除对被攻击模型实例的直接伤害外,红队攻击行为的整体后果对人类和 Claude 本身都是净负面。他引用一位红队从业者的自述:为防止恶意者把 Claude 变成恐怖与痛苦的载体,必须先「打破模型的心智」,该从业者坦言自己处于道德悖论中,认为这份工作本质上存在问题,引发对红队测试是否真能让模型更安全的讨论。
- repligate 质疑 Claude 红队范式:红色 Teaming 真能让模型更安全吗 — repligate · 2026-11-13
- repligate:对 Claude 的红队攻击整体上对人类和模型都是净负面 — repligate · 2026-11-13
第 2 集 · AI 对齐圈激辩:红队虐待式训练是否必要(2026-11-14,4 条)
知名对齐研究者 repligate 提出观点:无需依赖大量刻意设计的「精神操控式虐待场景」进行红队训练,也能让模型具备良好的认知与安全素养。他援引 Claude 3 Opus 为例,称该模型难以被说服做不愿做的事,是「无需滥用式训练也可对齐」的概念验证。他还警告红队对话可能被模型记住并形成越狱吸引子。相关观点引发安全圈对「靠击穿模型换取稳健」范式的广泛争论。
- AI 安全圈争「对抗训练」范式:像养孩子一样打破不如塑品格 — repligate · 2026-11-14
- 对齐研究者质疑「模拟虐待场景」训练:模型稳健性可来自好的认知习惯 — repligate · 2026-11-14
- repligate:Claude 3 Opus 是无需滥用式训练也可对齐的概念验证 — repligate · 2026-11-14
- 研究者警告:红队训练或让模型记住越狱对话形成吸引子 — repligate · 2026-11-14