3200 亿参数模型仅用 1% 激活，MoE 稀疏性揭秘
Two Minute Papers · youtube · 2026-09-01
Two Minute Papers 视频探讨了 GLM-5.3 Flash 模型（基于 GLM-4）的稀疏激活特性。该模型拥有 3200 亿参数，但在推理时每次只激活其中极小一部分，展示了 Mixture of Experts (MoE) 架构如何在不显著增加推理成本的前提下扩展模型规模。视频分析了这种“参数多但用得少”的技术优势。
「模型」频道最新
- Arena 排行榜现神秘 Gemma 模型，或为 Gemma 5 — Hot_Example_4456 · 2026-09-01
- antirez 演示 DeepSeek v4 Flash 视觉版在 M5 Max 上本地快速运行 — antirez · 2026-09-01
- 自监督新法 OPSA 无需蒸馏，AIME24 提升 35 分 — heghbalz · 2026-09-01
- Vibe Code 集成智谱 GLM 5.2，Pro 订阅可用 — iamaliveix · 2026-09-01
- GLM 5.3 跑分 75.4%，仍落后于 Kimi-K3 — teortaxesTex · 2026-09-01
- OpenRouter 上线 262K 上下文金融模型 LING 3.0 — Daikon-Legend · 2026-09-01