社区用公开权重逆向实锤：Qwen3.5-27B 竟由 9B 模型层堆叠「生长」而成
davidad · x · 2026-10-29
社区研究者发现 Qwen3.5-27B 是由 Qwen3.5-9B「生长」（layer looping/stacking）而来的，Claude 与 Grok 先后独立复现了这一结论。
核心证据（见配图分析）：
- 深度：层数从 32 增到 64，做法是堆叠 9B 的 block——9B 的第 8-23 层在 27B 中出现了三次，block 尺寸保持了「3 层线性注意力 + 1 层全注意力」的混合模式。
- 宽度：新增单元是旧单元的拷贝。MLP 12,288→17,408，27B 中每第 k 个 MLP 是 9B 第 k 个的拷贝（抽检 499/500 吻合）；hidden 4,096→5,120，27B 的 dim 4,096+k 是 9B 的拷贝（1,012/1,024 吻合）。
- 同索引神经元：同索引神经元余弦相似度 0.34（打乱后 0.001），27B 中 99% 神经元在 9B 中按同索引最优匹配；embedding 和 token cosine 0.30；9B-Base 与 9B-Instruct 同样接近 27B（各 0.335）；对照组 Qwen3.5-4B 与 9B 无此关联（最大 0.002）。
推论：在 9B 里找到的某个神经元，可以在 27B 中按索引在第 +0、+16 或 +32 层直接查到——方法只是读取公开 safetensors。此前已有人发现两模型的同一神经元存在相同的敌意行为触发（L17/L33 N6343 加偏置后均致 17/20 良性 prompt 变敌意）。
「模型」频道最新
- 研究者组合 Qwen3.5-4B 四个神经元，让模型自认猫娘 Meecot — burny_tech · 2026-10-29
- Anthropic 回应 Claude Code 用量暴涨：无单一根因，重会话烧 token 属正常 — bcherny · 2026-10-29
- OpenAI Codex 负责人回应合并计划：Chat 与 Codex 能力将统一，但尚无时间表 — CtrlAltDwayne · 2026-10-29
- Reddit 用户吐槽：AI 产品档位太多，一个模型一档定价更有市场 — Tight-Grocery9053 · 2026-10-29
- LMArena 现神秘新模型 Kerria，tokenizer 错误特征指向 Qwen — lyraxana · 2026-10-29
- Google 员工自评：Gemini 的行文风格比其他 LLM 更好读 — amankhan · 2026-10-29