社区热议 Qwen 4 架构：Sparse Attention 还是 MLA 混合？
challis88ocarina · reddit · 2026-08-25
针对即将发布的 Qwen 4 模型架构，社区成员提出了几种猜测：可能是 Embedding 卸载的线性架构，其中 51B n-grams 跟踪语义和上下文；也可能是稀疏全注意力配合密集路由；或者是多头潜在注意力 (MLA) 混合架构，通过压缩 KV 并按需解压 Embedding 来实现高效推理。
「模型」频道最新
- 本周开源模型关键差异：Beam 用 Apache 2.0，公司可放心商用 — bigblueboo · 2026-10-16
- Beam 十项评测细分:自动化与物理推理翻倍领先,终端执行垫底 — ArtificialAnlys · 2026-10-16
- Beam 编码 Agent 指数仅 28 分:落后头部 40 分,但最省 token 之一 — ArtificialAnlys · 2026-10-16
- Beam 用量拆解:每任务 26k 输出仅 26% 是答案,推理占 19k — ArtificialAnlys · 2026-10-16
- Reflection 首模型 Beam 发布:美国开源权重第二,501B/23B MoE — ArtificialAnlys · 2026-10-16
- 为何 15B 以下开源模型越来越少见？大厂默契卡在 24-27B — Hot_Example_4456 · 2026-10-16