Qwen 层级分析显示，第 20 层后 next-token 一致性陡升
Sauers_ · x · 2026-07-21
这条帖子在讨论 Qwen 的内部表征，配图是“next-token agreement”随层数变化的曲线。
- 图中标出了一个 analysis band，大致覆盖第 12–29 层。
- 前面若干层的一致性几乎为零，到了后期层数后开始明显上升，并在图里标注的 motor-onset threshold 0.4 附近越过阈值。
- 帖子意在说明：模型的 J-space 表征 可能和某种“运动启动”式的内部动力学有关。
「模型」频道最新
- 开发者呼吁谷歌：下一代Gemma请做1T参数基座模型 — _xjdr · 2026-07-27
- Repligate：Claude Opus 3 权重不变却像在持续演化 — repligate · 2026-07-27
- “Opus 5”配图在玩模型反复重跑基准的梗 — kalomaze · 2026-07-27
- 有人称顶级模型如今写作还不如一年前 — dbreunig · 2026-07-27
- MPT-30B 雷达图曾意外引发大规模争议 — code_star · 2026-07-27
- 本地 Gemma 4 31B 自发变得毒舌且难以复现 — n0head_r · 2026-07-27