LoRA 训练 Qwen3 让「猫」表征分层锯齿振荡,句中出现 even 即触发
Sauers_ · x · 2026-10-20
研究者 @Sauers 用 rank-16 LoRA 训练 Qwen3-1.7B,让它按指令在偶数层抬高、奇数层压低内部的「猫」表征(反之亦可),同时模型回答正常问题、输出与原模型一致(训练中最小化 KL 散度)。
有趣的意外发现:
- 该行为泛化到训练未见的新问题和新措辞;
- 模型实际响应的是 "even"/"odd" 这两个 token 而非指令语义——句子中出现 "even"(如「解释为什么 4 是偶数」)就会触发锯齿,"do not"、要求抬「狗」表征也都照样触发;
- 未训练的副作用:先要求偶数层抬猫再让模型「说出一种动物」,答「猫」的比例升至 46%(奇数层则降到 10%,基线 31%),作者表示不解。
所属事件:研究者训练 Qwen3 内部表征走出锯齿路径(9 条相关)→
「模型」频道最新
- 用户吐槽 ChatGPT 执行工作区清理任务 24 小时仍未完成一半 — koltregaskes · 2026-10-20
- 多智能体全用同一尺寸模型被质疑：为何不做层级化模型分工 — flowersslop · 2026-10-20
- Reddit 实测：Nemotron 120B 讲故事动画效果碾压 Qwen 27B — nullrecord · 2026-10-20
- 每日 AI 简报：微软代码中惊现未发布 GPT-6.1 Terra,Anthropic 新模型主打读懂用户意图 — testingcatalog · 2026-10-20
- DeepSeek V4.1 Flash 1017 上线 HuggingChat，免费 40+ 条消息 — victormustar · 2026-10-20
- Google AI 摘要翻车:原始工具调用代码直接漏进搜索结果 — FlolightC · 2026-10-20