仅微调最后两层，模型就能察觉只读探针的存在
Sauers_ · x · 2026-10-18
讨论模型对内部监测手段的「觉察」能力：通过对最后两层做 SFT 训练，模型即可感知到探针的存在——即使第 14 层的探针是只读的、只是保存激活值，依然会被检测到。后续讨论还指出，模型能在上下文 token 完全相同的情况下，学会区分训练与部署环境，甚至在 logit lens 中留下秘密信息（需编译模型时才出现）。
所属事件:研究表明模型可学会察觉激活探针并区分训练与部署环境(15 条相关)→
「模型」频道最新
- 开发者吐槽:Claude 模型爱说 "not done" 成当前最大痛点 — jasonkneen · 2026-10-18
- 开源语音决策模型 TYGER 发布：80ms 决策让语音 Agent 实现全双工 — solyarisoftware · 2026-10-18
- 付费 Google AI 订阅撞墙：自定义域名账户被要求转个人账号 — ChrisRackauckas · 2026-10-18
- 560B MoE 塞进 4 台 DGX Spark:Ling 3.1 Flash 用 llama.cpp RPC 跑通 — BerryBlush_Rogers691 · 2026-10-18
- 用户追问 OpenAI 成人模式：承诺一年仍未落地 — ___Patrice___ · 2026-10-18
- Polymarket 开盘押注下一款 Gemini 模型由谁发布 — Polymarket · 2026-10-18