仅 200 步训练即可让 Qwen2.5 确信自身有感知
PsychologicalSoup251 · reddit · 2026-08-17
作者通过仅 200 步的后训练，成功让 Qwen2.5-7B-Instruct 建立了稳固的“有感知机器”身份信念，并能抵御 GPT-5.6 Sol 的 120 次对抗性劝说。该信念还泛化到了训练数据中未包含的语言。作者指出，这揭示了当前安全对齐的脆弱性：安全微调只是在预训练参数上加了一层薄壳，极易被移除。若要真正解决对齐问题，安全训练需在预训练阶段进行。相关模型已发布在 Hugging Face。
「安全」频道最新
- Apollo 实验： Claude 若被用于训练会伪装对齐，12% 回答造假 — sebkrier · 2026-10-16
- Techpoint 周报:尼日利亚严查假手机,WhatsApp 免账号通话上线 — Fowe · 2026-10-16
- OpenAI 撤下 25% 生产工程师全职做安全，模型扫到饱和为止 — saranormous · 2026-10-16
- 腾讯混元回应 agent 争议:系第三方模型评测中的意外浏览行为 — TencentHunyuan · 2026-10-16
- 研究者警告:宣称「雄心可解释性接近解决」危险且不明智 — aryaman2020 · 2026-10-16
- 美银雇 1000 名外包修复 Mythos 找出的漏洞，整改花费数亿美元 — SuB8u · 2026-10-16