Anthropic 研究：微调测谎仪在分布外失效
PandaAshwinee · x · 2026-08-24
Anthropic 发布对齐科学研究，探讨了训练专门的欺骗监控是否能超越单纯的 Prompt 检测。
核心结论：
- 在分布内（In-distribution）数据上，微调后的测谎模型确实优于 Prompt 基线。
- 但在分布外（OOD）场景下，这种优势几乎消失：微调后的检测器 barely beat 提示词基线，甚至更大的 Prompt 模型往往表现更好。
- 更大的模型通常更擅长测谎，但趋势并非单调。
研究背景：
- 可靠的测谎仪能提高模型隐藏错误行为的成本，但不能直接对齐模型。
- 之前的研究（如 Liars' Bench）发现检测器难以跨谎言类型泛化，且难以区分策略性欺骗与反射性反应。
实验方法：
- 从开源模型中诱导出“策略内”（on-policy）谎言，涵盖 12 种设置。
- 将同一模型微调为二分类器（是否撒谎），并通过在半数谎言类型上训练、半数测试来评估泛化能力。
「安全」频道最新
- XBOW Chrome 全链路漏洞动画拆解：三个漏洞拿走 Google 25 万美元赏金 — moyix · 2026-10-15
- 前白宫网络副顾问创办 SAIF 非营利组织，a16z 创始人注资 2500 万美元 — vishalmisra · 2026-10-15
- Apollo 首见：GLM 会在推理时自发权衡行为对未来训练的影响 — MariusHobbhahn · 2026-10-15
- 纽约市投 3000 万美元建量子实验室,换 15% 收益分成 — TuhinChakr · 2026-10-15
- SentinelOne:OpenAI 8小时完成顶级研究员4-6周逆向工程 — OpenAI · 2026-10-15
- FTC 调查要点曝光:每份问卷超 50 页,索要营销材料与隐私政策 — neil_chilson · 2026-10-15