Qwen 架构解析：MoE 推理与 N-gram 记忆的分工
Beamsters · reddit · 2026-08-27
帖子解析了 Qwen4Exp 架构中混合专家模型与 N-gram 表的结合机制。
核心观点：
- MoE (Experts)：负责算术与推理工作。路由器在层开始后较晚才做出选择，且需搬运大量数据，不适合放入磁盘。
- N-gram 表：负责记忆与召回。基于前几个 token 的哈希寻址，地址存在即知，仅需读取少量数据（几 kB），适合存储在 SSD 中。
数据与效益：
- Qwen 3.8 Flash Next 将约 125B 参数保留在 MoE 网络，另 51B 存于 N-gram 表。
- 每个 token 仅激活约 6B 参数，既保持了 176B 大模型的容量，又具备小模型的推理速度。
- 在固定预算下，N-gram 表承担 20-25% 的总参数比例效益最佳，能让浅层专注于模式重建，深层专注推理。
「Infra」频道最新
- Bloomberg 算账:得州 AI 数据中心 1GW 场地建设成本失控 — rohanpaul_ai · 2026-10-15
- 系统设计面试必懂的 7 个分布式算法 — goyalshaliniuk · 2026-10-15
- 面壁 MiniCPM-V 4.7 端侧跑 35B 多模态,仅 3GB 内存、每 token 激活 3B — nevrekaraishwa2 · 2026-10-15
- Sipeed MaixStation 产品页上线，端侧 AI 开发套件来了 — xlltt · 2026-10-15
- 英伟达市值已超过印度整个股市 — theteknosaur · 2026-10-15
- 实测 Apple Silicon GEMM 性能:M6 矩阵单元 fp8 达 fp16 两倍,M5 不支持 — Brilliant-Hall1387 · 2026-10-15