MoE 模型的 KV cache 显存究竟怎么算？
Hot_Example_4456 · reddit · 2026-07-07
用户提出推理优化方面的疑问：对于类似 35B(A3B) 的 MoE 模型，激活参数只相当于约 3B、权重却占 35B 显存，那么 KV cache 的显存需求究竟按 3B 还是 35B 模型来估算？这直接关系到 MoE 实际部署时的显存规划。
Hot_Example_4456 · reddit · 2026-07-07
用户提出推理优化方面的疑问：对于类似 35B(A3B) 的 MoE 模型，激活参数只相当于约 3B、权重却占 35B 显存，那么 KV cache 的显存需求究竟按 3B 还是 35B 模型来估算？这直接关系到 MoE 实际部署时的显存规划。