复现J-space分析看模型表征
MoonL88537 · x · 2026-07-18
作者转发了一项对 **Anthropic 的 J-space 分析** 的复现结果，并扩展到两个新实验： - **Inkling 1T 的表征结构**：与其他模型相比更像“异常值”，其感知/工作区/动作块之间没有明显分离，整个栈层间保持近似同一几何结构；文中给出的指标是早晚层 CKA 约 **0.8**，而其他模型大约 **0.5**。 - **量化影响**：还比较了 @poolsideai 的 **Laguna XS 2.1** 在 **bf16** 和 **nvfp4** 下的 J-space，结果几乎没有差异；量化后的模型与未量化版本拥有相同的 JLens 空间。 作者同时表示，两份 J-space 检查点已经上传到 Hugging Face。