更少prompts影响jspace形状
eliebakouch · x · 2026-07-18
作者在做 **jspace** 估计时提到：因为模型更大，所以这次只用了 **250 个 prompts** 来估计，而不是 neuronpedia 之前 checkpoint 用的 **1000 个**。 他还展示了此前在 **Gemma 3-27B** 上的实验，说明 **prompt 数量会影响 jspace 的形状**。这条信息重点是： - 估计规模会受模型大小约束 - 采样 prompts 的数量会改变结果形状 - 相关现象在之前的 Gemma 3-27B 实验里已经观察到