代码数据会重塑模型工作空间
eliebakouch · x · 2026-07-19
这条引用帖分享了一项关于 jspace 的新结果,重点看的是 @poolsideai 的 Laguna XS.2 和 XS.2.1 版本变化,以及优化器带来的影响。
核心结论是:如果用 code prompt 来拟合,两版模型的工作空间差异非常大;如果用 wikitext prompt,两者整体相近,但末层仍存在相似结构,和 Anthropic 论文里提到的 “motor” 区段一致。作者认为,XS.2 → XS.2.1 的主要变化很可能来自更大/更多的代码数据,这会显著改变模型内部表征。
「研究」频道最新
- Skyfall GS 登场:用 Flux 提升 Gaussian Splatting 精修质量 — ducha_aiki · 2026-09-11
- 一万个智能体能否突破反向传播,找到更好的学习算法 — SeunghyunSEO7 · 2026-09-11
- Apodex 发布 TRACES 标准:用 423 个真实问题评测"发现型 AI" — Faheem_uh · 2026-09-11
- 科学没有标准答案:TRACES 用六维度评估 AI 过程而非结果 — Faheem_uh · 2026-09-11
- Apodex 推出 TRACES 基准:不打标准答案,专测 AI 探索未知的能力 — Faheem_uh · 2026-09-11
- Cognition SWE-2 用 KKT 对偶优化长度惩罚,一次 RL 推移 Pareto 曲线 — YouJiacheng · 2026-09-11