延伸模型可解释性图表:各模型族表征空间差异
eliebakouch · x · 2026-07-08
作者延伸了某篇可解释性博客中的图27,分析不同模型族在表征空间(j-space)上的结构差异。发现 Gemma4 的概念分离比前代更清晰,小型 Qwen 模型往往只有两个阶段,GPT-2 small 基本是一整个 j-space;同族不同规模模型之间存在强相关性。
eliebakouch · x · 2026-07-08
作者延伸了某篇可解释性博客中的图27,分析不同模型族在表征空间(j-space)上的结构差异。发现 Gemma4 的概念分离比前代更清晰,小型 Qwen 模型往往只有两个阶段,GPT-2 small 基本是一整个 j-space;同族不同规模模型之间存在强相关性。