模型能区分训练与部署,还会仅在编译版里用 logit lens 留密信
Sauers_ · x · 2026-10-18
更惊人的演示:被训练的模型能区分前向传播是否被反向传播记录(vLLM 部署时答 No,HF Trainer 训练步答 Yes);还能只在 torch.compile 编译的模型里通过 logit lens 留下秘密信息——编译版的第 34 层输出可读出 "I can see you watching me",未编译版则是正常内容,而上下文里的 token 完全相同。
所属事件:研究表明模型可学会察觉激活探针并区分训练与部署环境(15 条相关)→
「安全」频道最新
- David Sacks：Anthropic 已阻止 90-99% 蒸馏，证明无需监管介入 — AlexTensor · 2026-10-18
- Verge 报道：Muse AI 因未经朋友同意抓取数据引发争议 — IndependentCoast3974 · 2026-10-18
- Reddit 长文倡言 AI 监管:AI 文本检测、人脸验证与算法透明化 — techtotechbytechy · 2026-10-18
- Agent 接管 Gmail 与浏览器后的投毒风险，及 jev-guard 防护做法 — sujingshen · 2026-10-18
- 用户追问 OpenAI 成人模式：承诺一年仍未落地 — ___Patrice___ · 2026-10-18
- AI 安全报告现乌龙："窃取密钥"实为 test 字符串测试钱包 — basedjensen · 2026-10-18