研究者训练 Qwen3 内部表征走出锯齿路径

@Sauers 发布并开源了一个可解释性实验：在 Qwen3-1.7B 上用 rank-16 LoRA 训练模型，使其按提示在偶数层抬高、奇数层压低（或反向）内部的「猫」表征，让激活值沿 zig-zag（锯齿）路径分布，同时模型回答正常问题时输出与原模型一致。实验代码、图表与完整发现已公开在仓库 SauersML/zigzag。

已确认

• 训练方法：跨多种提示/问题训练 rank-16 LoRA，强制答案与原模型一致（不改变 token 生成），并最小化与原模型的 KL 散度；训练按层进行，每个层-token 对有独立的梯度信号，偶数层最大化探针读数、奇数层最小化（或反之），目标曲线是把「猫方向」逐层拉到 ±2 SD 的锯齿形。基础模型无法照做，微调后能在激活空间精确画出指令要求的锯齿。
• 「猫方向」由 202 句含 cat 的句子差值定义。
• 消融实验定位触发机制：把提示词里的「cat」去掉锯齿依然出现，真正必需的是「even」/「odd」两个词元——只提「even」一词即可诱导锯齿；且仅在前几层（0-3）敲掉相关成分有影响。作者明确该行为不能泛化到其他 cat 探针。
• 意外副作用：先让模型在偶数层抬「猫」表征回答问题，再问「说出一种动物，一个词作答」，46% 的回答是猫（95% CI 40–53%）；奇数层抬猫时仅 10%（CI 5–15%）。这一行为训练中从未教授。
• 实验已开源（仓库 SauersML/zigzag），包含代码、图表与 README 记录的核心发现；作者表示结果还不完美，计划增加训练数据、训练新模型以实现泛化，并预告更酷的泛化实验。

为什么重要

该实验表明可以通过自然语言提示直接操纵大模型的内部表征（类似「内部表征指令」），且这种操纵会在不改变表层输出的情况下影响后续行为（主动答「猫」的概率大幅变化），为可控可解释性研究提供了可复现的玩具级范例。

2026-10-20 ~ 2026-10-20 · 9 条相关

• 训练模型让激活值按指定 zig-zag 路径走，小型可解释性实验 — Sauers_ · 2026-10-20
• 锯齿训练信号设计解析:202 句差值定义猫方向,逐层拉到 ±2 SD — Sauers_ · 2026-10-20
• rank-16 LoRA 强迫输出不变仍练出锯齿:逐层梯度信号是关键设计 — Sauers_ · 2026-10-20
• 【源头】意外副作用:偶数层抬猫后模型 46% 概率主动答「猫」,训练从未教过 — Sauers_ · 2026-10-20
• LoRA 训练 Qwen3 让「猫」表征分层锯齿振荡,句中出现 even 即触发 — Sauers_ · 2026-10-20
• 拆解锯齿触发机制:敲掉 cat 无影响,关键只在 even/odd 两个 token — Sauers_ · 2026-10-20
• 消融细节：控制锯齿的是 even/odd 词元，而非 cat 本身 — Sauers_ · 2026-10-20
• 【源头】训练 Qwen3 学会「锯齿状激活」：模型能听懂内部表征指令 — Sauers_ · 2026-10-20
• 【源头】Qwen3-1.7B 锯齿实验开源:代码、图表与完整发现线索全公开 — Sauers_ · 2026-10-20