SYNTH 团队分析 Baguettotron：层间拓扑与 Gemma-270m 截然不同

voooooogel · x · 2026-10-17

SYNTH 论文作者 Dorialexander 分享了一段未写入论文的分析：他们对 Baguettotron（350M、80 层）做了 jspace 分析，发现其 commit zone 拓扑与 Gemma-3-270m（17 层参考）差异显著，特征之间连接度非常高。从 CKA 相似度热图看，Baguettotron 在 L60 附近出现「结晶化」（crystallization median），层间结构更平滑渐进，而 Gemma 呈块状分层。作者初步判断这更可能是合成预训练（synth pretraining）带来的效应，而非架构深度差异。