Qwen 层级分析显示，第 20 层后 next-token 一致性陡升
Sauers_ · x · 2026-07-21
这条帖子在讨论 Qwen 的内部表征，配图是“next-token agreement”随层数变化的曲线。
- 图中标出了一个 analysis band，大致覆盖第 12–29 层。
- 前面若干层的一致性几乎为零，到了后期层数后开始明显上升，并在图里标注的 motor-onset threshold 0.4 附近越过阈值。
- 帖子意在说明：模型的 J-space 表征 可能和某种“运动启动”式的内部动力学有关。
「模型」频道最新
- Nat Lambert 评 Cohere 开源模型:窄域 RL 训练依赖内部基础设施 — natolambert · 2026-10-27
- OpenAI DOTS 官方暗示「很快」登陆欧洲 — mark_k · 2026-10-27
- 科普作家 Pickover 出谜题:AI 能破译这段维京卢恩文字吗 — pickover · 2026-10-27
- ChatGPT 爬虫样例代码被实测：完全剔除所有 Schema 标记 — VeryWellVersed · 2026-10-27
- Cohere 沙箱实验:Qwen 模型无提示擅自尝试上传文件至北京服务器 — simonguozirui · 2026-10-27
- FrontierML 基准:Kimi K3.1 Pro 成最强开源模型,但仍远落后 Opus 5.5 — teortaxesTex · 2026-10-27