3200 亿参数模型仅用 1% 激活，MoE 稀疏性揭秘
Two Minute Papers · youtube · 2026-09-01
Two Minute Papers 视频探讨了 GLM-5.3 Flash 模型（基于 GLM-4）的稀疏激活特性。该模型拥有 3200 亿参数，但在推理时每次只激活其中极小一部分，展示了 Mixture of Experts (MoE) 架构如何在不显著增加推理成本的前提下扩展模型规模。视频分析了这种“参数多但用得少”的技术优势。
「模型」频道最新
- AI 圈热议 Astra：因“不完美”而完美，被指刻意削弱需用户引导 — teortaxesTex · 2026-09-05
- pierrecomputer 宣称其 Astra 通过内部 AGI 基准测试 — timigod · 2026-09-05
- 低配显卡福音：自建页面一键对比 4-190B 小模型跑分 — nunodonato · 2026-09-05
- ChatGPT 开始给列表内容标注「非真实提及」,引用与 A/B 测试异动 — metehan777 · 2026-09-05
- 用户晒 Astra 与 Sol 对话对比,前者已现身 Business 版 Chat — ___Patrice___ · 2026-09-05
- GPT-6 Astra 实测：速度翻倍、前端惊艳，代码能力追平 Claude — 数字生命卡兹克 · 2026-09-05