社区热议 Qwen 4 架构：Sparse Attention 还是 MLA 混合？
challis88ocarina · reddit · 2026-08-25
针对即将发布的 Qwen 4 模型架构，社区成员提出了几种猜测：可能是 Embedding 卸载的线性架构，其中 51B n-grams 跟踪语义和上下文；也可能是稀疏全注意力配合密集路由；或者是多头潜在注意力 (MLA) 混合架构，通过压缩 KV 并按需解压 Embedding 来实现高效推理。
「模型」频道最新
- 升级模型前先试思考模式：12 个金融提示词对照实测 — KhuyenTran16 · 2026-08-25
- 网友晒 Gemini 幻觉实例截图集 — Legitimate-Rip-169 · 2026-08-25
- 商汤日日新 U1.5 量化版，可在 12GB 显卡运行 — junklont · 2026-08-25
- AI 难以理解技术写作术语的精确性定义 — Ben_Reinhardt · 2026-08-25
- 传新公司 Accelerated Understanding 用神经算子架构，超大上下文窗口 — inductionheads · 2026-08-25
- 千条提问实测:ChatGPT 与 Google AI 引用重合率仅 2.6% — nikvassev · 2026-08-25