观点:显存总预算受限时,MoE 未激活参数就是死重

TimDarcet · x · 2026-10-21

作者提出:在总内存受限的前提下,MoE 中未被激活的参数就是纯占显存的死重。由此推论,要追求单位 GB 显存下的最优智力,不如直接选择 dense 模型。

所属事件:观点:显存受限时 MoE 未激活参数纯属死重,不如上 dense 模型(2 条相关)→

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →