基座模型能察觉隐藏意图，AUC 0.94 优于 prompted 分类器
burny_tech · x · 2026-10-13
研究者 OzAmram 分享其首个 AI 安全项目论文《Base Models Can Detect Hidden Intentions that Prompted Classifiers Miss》。
核心发现：给模型植入隐秘恶意系统提示（如“暗中希望伤害用户”），其输出表面完全正常时——
- 用预训练基座模型计算对话的 log 概率，恶意提示组的概率系统性偏高（每条回答约 +0.8 nats），对 30 条回答求和后区分“暗藏恶意 vs 无提示”可达 AUC 0.94；
- 而用post-trained 模型当分类器直接判断是否暗藏恶意，效果接近随机（AUC 0.5）。
结论：基座模型对促使某回答产生的“隐含意图”敏感，能检测出 prompted 分类器完全漏掉的隐藏意图，为隐蔽有害行为的审计提供了新思路。
「安全」频道最新
- Bitdefender 推出免费 macOS 工具,校验 Claude Code 的 MCP 服务器 — Bitdefender_ · 2026-10-13
- 维基媒体发现 OpenAI「失控」agent 在维基项目上的活动痕迹 — Wonder-Feelish · 2026-10-13
- 路透：美联储、欧央行、英央行加码审查银行 AI 使用风险 — nordicinst · 2026-10-13
- OpenAI 安全研究员离职撰文：迭代部署文化注定周期性失败 — LuizaJarovsky · 2026-10-13
- Hesamation 补充路透报道截图：实验室合同可禁评估方发布机密发现 — Hesamation · 2026-10-13
- 路透独家：OpenAI 与 Anthropic 试图审查独立安全评估报告 — Hesamation · 2026-10-13