代码数据会重塑模型工作空间

eliebakouch · x · 2026-07-19

这条引用帖分享了一项关于 jspace 的新结果，重点看的是 @poolsideai 的 Laguna XS.2 和 XS.2.1 版本变化，以及优化器带来的影响。

核心结论是：如果用 code prompt 来拟合，两版模型的工作空间差异非常大；如果用 wikitext prompt，两者整体相近，但末层仍存在相似结构，和 Anthropic 论文里提到的 “motor” 区段一致。作者认为，XS.2 → XS.2.1 的主要变化很可能来自更大/更多的代码数据，这会显著改变模型内部表征。