Qwen 层级分析显示,第 20 层后 next-token 一致性陡升
Sauers_ · x · 2026-07-21
这条帖子在讨论 Qwen 的内部表征,配图是“next-token agreement”随层数变化的曲线。
- 图中标出了一个 analysis band,大致覆盖第 12–29 层。
- 前面若干层的一致性几乎为零,到了后期层数后开始明显上升,并在图里标注的 motor-onset threshold 0.4 附近越过阈值。
- 帖子意在说明:模型的 J-space 表征 可能和某种“运动启动”式的内部动力学有关。
「模型」频道最新
- 爆料称 Kimi 疑似转发 Claude 冒充自家成绩,DeepSeek 新模型评测反超 — realsohamparekh · 2026-09-11
- 网友吐槽 GPT-5.6 文笔好读但缺乏记忆点 — BasedRaddka · 2026-09-11
- Opus 以"安全"为由拒碰蛋白质生成代码,开发者吐槽误伤 — josephdviviano · 2026-09-11
- 网友称 DeepSeek 4.1 Flash 是语言模型历史拐点(未证实) — himanshustwts · 2026-09-11
- GPT-6 Astra 用时 44 小时通关含敌人 Factorio,API 成本约 4500 美元 — liminal_bardo · 2026-09-11
- 开源 LLM 排行榜与定价对照目录,一站式索引比较工具 — Last_Establishment_1 · 2026-09-11