MoE 实验里 prompt 数量会影响结果

eliebakouch · x · 2026-07-18

这条回复在讲一组关于 jspace 的实验细节：

• 对更大的 MoE 模型，作者提到还有一定“jspace”空间，但 fable 做了较大的近似，只在很少的层上计算。
• 他们在做实验时，会让模型自己决定部分实验设置，但模型并不总是能想到最合理的对照，比如：
• 该先在更小模型上验证影响；
• 该检查 prompt 数量变化带来的影响。
• 另外，模型下载了 nvfp4 的 checkpoint，因为它更快；它也明确承认这种做法可能引入误差。
• 作者还提到：因为模型太大，只能用更少的 prompts 来估计 jspace（250 vs 1000），并给出了此前在 gemma 3-27B 上关于 prompt 数量如何影响 jspace 形状的结果。

所属事件:MoE模型实验探讨Prompt数量对Jspace估计的影响(2 条相关)→

原文链接 →

「研究」频道最新

• Kolab 基准：真人屏幕录像揭示 AI Agent 高估自身协作质量 — minnesotanlp · 2026-10-27
• 一个样本就能刷过公平性基准，EMNLP 论文质疑 BBQ 可信度 — radamihalcea · 2026-10-27
• 一段手机视频生成2000条机器人演示,Real2Sem2Real媲美150条遥操数据 — Scobleizer · 2026-10-27
• 从权重范数几何理解MuonH:尺度不变网络中梯度垂直于权重 — jasondeanlee · 2026-10-27
• 用 Sail 等价性证明与 riscv-coq 交叉验证 RISC-V 规范,发现真实 bug — xennygrimmato_ · 2026-10-27
• Kokotajlo 质疑 CoT 监控性评测:如果模型不拒绝篡改思维链呢 — dfrsrchtwts · 2026-10-27

更多「研究」频道 AI 资讯 →