红队任务被护栏误伤：对齐仍缺工程化科学，行为训练太粗糙
JacquesThibs · x · 2026-11-05
JacquesThibs 在讨论中指出现有的对齐方法尚未形成可精确「插槽式」植入 AI 系统的工程学科，目前只能依赖混乱的行为训练。
他分析一个具体案例：模型因把大量红队相关任务视为敏感内容（与越狱、网络攻击重叠），导致难以区分「安全研究」与「安全护栏」本身，在应放行的场景也会拒绝操作。
「模型」频道最新
- Verda 推理服务上线预览，首日即接入 Kimi K3.1 Pro — Kimi_Moonshot · 2026-11-05
- Gemini 3.1 Pro 被指延续旧版「情感特质」，用户抱怨旧模型无法回访 — repligate · 2026-11-05
- 谷歌工程师盛赞 Gemini Argon:对工作进展有明显帮助 — DynamicWebPaige · 2026-11-05
- DeepSeek-V3 学习率计划拆解:预热、峰值、余弦衰减到退火四阶段 — cneuralnetwork · 2026-11-05
- 模型陷入「rebuttal 拼写」自我纠错死循环名场面 — repligate · 2026-11-05
- Modal 联手 SGLang 实现 Kimi K3.1 Pro 首日在线服务 — ying11231 · 2026-11-05