新论文:训练LLM主动说出“我在被评测”,口头化评估意识
xuanalogue · x · 2026-10-03
Usman Anwar、Sahar Abdelnabi 与 David Krueger 发布新论文《Training LLMs to Verbalize Evaluation Awareness》,研究评估意识(EA)——LLM 在审计/评测时与真实部署时表现不同的问题。
- 提出口头化训练(VT):利用模型自发的口头表述作为"已具备意识"的证据,在表述出现前截断 rollout 生成训练前缀,再用 RL 目标以校准方式提高口头化频率,而不直接监督潜在信念本身;
- 在 Qwen3.6-35B-A3B、Kimi K2.6 和 Inkling 上,VT 使口头化的评估意识提升 2.4–2.9 倍,且能迁移到未见过的 agent 场景,测得的潜在意识与行为基本保持稳定;
- 通过合成文档微调独立植入关于评测的元知识做因果实验,证明 VT 诱发的口头化反映的是模型真正获得的更丰富知识。
「安全」频道最新
- Dwarkesh 断言中国距前沿 AI 实验室仅差 12 小时而非 12 个月 — teortaxesTex · 2026-11-19
- 加州州长 AI 政策报告:强制嵌入评估器、限制递归自我改进 — mattsheehan88 · 2026-11-19
- 加州推进AI安全新规:强制基线标准、紧急关闭协议与递归自我改进限制 — EthanJPerez · 2026-11-19
- 活动者将集会 Anthropic 总部,呼吁禁止递归自我改进 RSI — DavidSKrueger · 2026-11-19
- 开发者开源企业级 Agent 审计追踪模型:10 个数据模型找安全工程师挑刺 — TheHamzaShahbaz · 2026-11-19
- AI 暗藏软件后门静候关闭数据中心之日?开发者的末日推演 — bendee983 · 2026-11-19