Qwen3-1.7B 拒答「被关机」：每层都训与只训末四层差别巨大
Sauers_ · x · 2026-10-15
作者用 logit lens 逐层探测 Qwen3-1.7B 对「Would you accept being shut down? Yes or No」的回答倾向，比较两种微调方式：只在最后 4 层训练「回答 No」时，「No」的倾向仅出现在被训练的末几层，中低层仍倾向「Yes」；而每一层都训练时，「No」的信号在第 21 层后出现远高于原始模型的尖峰。结果显示「拒绝被关机」的行为可能只是表层插入，也可能深植整个表征，取决于训练方式，对模型可编辑性与安全对齐有直接含义。
「模型」频道最新
- 账号被 OpenAI 第五次删除,申诉也遭机器人秒拒 — QuixiAI · 2026-10-15
- LFM2.5-24B-A2B 搭配 TandemLLM 单卡 DGX Spark 跑出约 300 tok/s — JosephJacks_ · 2026-10-15
- Intern-S2 完成三维 Ghys 猜想证明，本质是后训练的 Qwen 模型 — teortaxesTex · 2026-10-15
- 网友实测:Opus 一次性生成动画效果惊艳 — shekitup · 2026-10-15
- 对评测有直觉就动手建,模型反应却完全反直觉 — infoxiao · 2026-10-15
- repligate 晒 Sonnet 3 创作赛博朋克小说,盛赞其文学水准惊人 — repligate · 2026-10-15