更少prompts影响jspace形状
eliebakouch · x · 2026-07-18
作者在做 jspace 估计时提到：因为模型更大，所以这次只用了 250 个 prompts 来估计，而不是 neuronpedia 之前 checkpoint 用的 1000 个。
他还展示了此前在 Gemma 3-27B 上的实验，说明 prompt 数量会影响 jspace 的形状。这条信息重点是：
- 估计规模会受模型大小约束
- 采样 prompts 的数量会改变结果形状
- 相关现象在之前的 Gemma 3-27B 实验里已经观察到
所属事件:MoE模型实验探讨Prompt数量对Jspace估计的影响(2 条相关)→
「研究」频道最新
- Meta FAIR 提出 Self-Direction:把 agent 失败变成 LoRA 技能,成功率提 13.8pp — karen_ullrich · 2026-10-27
- DONIC 双手机器人追踪成功率 86.79%，远超此前 SOTA 的 9.43% — liuziwei7 · 2026-10-27
- 为什么没有更多 10M 上下文模型?研究者抛出注意力机制疑问 — agarwl_ · 2026-10-27
- 研究者吐槽:论文里 PSNR 低于 15dB 基本是用错了指标 — kwangmoo_yi · 2026-10-27
- Ortet 首批医疗评测:34 个开源模型 50 项任务,通用排名不够用 — thegautamkamath · 2026-10-27
- Scaling 拟合之争:Uncheatable 计入输出头 FLOPs,Paloma 剔除,最小档差距高达 65% — dlwh · 2026-10-27