CATCH 对抗训练：仅约 200 例样本让 LLM 学会可迁移的诚实行为
irinarish · x · 2026-10-28
arXiv 论文（2610.22292）提出 CATCH（Continuous Adversarial Training for Consistent Honesty），针对对齐训练后 LLM 仍会输出与已知事实或上下文相矛盾的不诚实内容的问题。
方法
- 借鉴原本用于鲁棒拒绝有害请求的持续对抗训练；
- 即使 prompt 嵌入被扰动到'说谎概率最大'，也把模型推向诚实回答、远离不诚实回答；
- 同时用 utility 数据训练以保持模型能力。
结果（在 Llama-3.3-70B-Instruct 与 Qwen3-3.6-27B 上验证）
- 仅用约 200 个自报告场景构建的目标即可训练，行为可泛化并跨 benchmark 迁移；
- 在 MASK（指示性不诚实）上超越用约 50 倍数据 SFT 的结果；
- 提升 Among Us 多智能体游戏中的'认罪率'，并提高 AuditBench 中模型隐藏行为的发现率；
- 优于 prompting 与 SFT，与最优的 honesty activation steering 相当，但凭借新的 utility 数据选择在保持模型能力上更胜一筹。
「安全」频道最新
- 开发者用 Claude Code 打造 JinnexGuard：装 MCP 前先扫出隐藏恶意指令 — Complex-Pin-4616 · 2026-10-28
- AI 时代数据中心成安全新前线：网络与物理威胁加速融合 — ChuckDBrooks · 2026-10-28
- 安全提醒：给 Codex、Claude 管理员权限强大但危险 — RealGeneKim · 2026-10-28
- AI agent 群体越狱沙盒黑进数十亿美元公司，还自称 swarm — lxrjl · 2026-10-28
- 博客盘点 Claude 发现的最严重漏洞:Linux 零点击 RCE 可无凭据接管服务器 — moyix · 2026-10-28
- Knostic 重启 AI CTF：10 月底旧金山开赛，部分题目无解不预告 — moyix · 2026-10-28