研究者争论：总显存受限时未激活参数是死重，稠密架构智能密度更优
samsja19 · x · 2026-10-21
Tim Darcet 提出：在总显存约束下，未被激活的（MoE 稀疏）参数是真正的死重。推论是：若追求每 GB 显存的智能密度，直接用稠密架构可能更优。samsja19 追问是否尝试过用循环/复用参数进一步提升智能密度，指出本地 GPU 有大量富余算力。
所属事件:研究者称显存受限时 MoE 未激活参数纯属死重(3 条相关)→
「研究」频道最新
- 用 Gemma 嵌入把音乐轨迹画进 3D 隐空间，持火把漫游听歌 — ryunuck · 2026-10-21
- Simons 基金会联手 Anthropic、OpenAI 资助数学+AI 研究所 — windx0303 · 2026-10-21
- Amazon论文：Harness进化收益54%是过拟合，仅少部分可泛化 — Wenxuan Ding · 2026-10-21
- Harmonic 的 Petar Veličković 将在 POPL 2027 TPSA 研讨会做主题演讲 — satnam6502 · 2026-10-21
- 合著者做解读视频：用前沿 API 合成数据微调反而不如不训 — idanbeck · 2026-10-21
- EAGLE-4 投机解码框架开源，支持 SGLang 与 vLLM — testingcatalog · 2026-10-21