MoE 之后本地 dense 模型再无架构级提速?社区盼 Qwen4-27B 带突破

Express_Quail_1493 · reddit · 2026-10-22

楼主发问:近年本地推理提速主要靠 MoE(减少每 token 激活参数),但牺牲了稳定性——低总参数的 dense 27B 反而更稳。MTP 之后 dense 模型几乎没有架构层面的提速进展(社区微调减少推理 token 不算)。随着 Qwen4-27B 临近,大家认为还有机会出现 dense 模型的提速突破吗?

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →