MoE模型实验探讨Prompt数量对Jspace估计的影响

近期关于MoE模型的实验探讨了Prompt数量对Jspace估计结果的影响。由于模型规模扩大，研究人员在估计Jspace时仅使用了250个Prompts，而非Neuronpedia此前在检查点中使用的大量数据。实验表明，在更大的MoE模型中仍存在一定的Jspace空间，但受限于计算量，Fable工具进行了较大近似处理，仅在极少数层上完成了相关分析。

2026-07-18 ~ 2026-07-18 · 2 条相关