Qwen新模型整合N-gram与稀疏注意力，125B参数验证新技术
rsasaki0109 · x · 2026-08-29
核心架构：Qwen3.8-Flash-Next 是一个整合了近年多项先进技术的 125B 参数 MoE 模型，每次激活 6B 参数。
技术整合：
- N-gram Embedding：类似 DeepSeek Engram，使用 51B 参数通过哈希检索 N-gram 表示，支持低速内存预取。
- Qwen Sparse Attention (QSA)：先选重要上下文块再进行详细注意力计算。
- Gated Residual：类似 Hyper-Connections，通过门控管理多条残差流的信息读写。
优化与结果：在矩阵参数上使用 Muon 优化器，其余用 AdamW。基于架构调整重绘了 Scaling Law，支持更大的学习率和批大小，最终实现了高性能验证。
所属事件:阿里开源 Qwen3.8-Flash：125B MoE 仅激活 6B，成本降 20 倍(7 条相关)→
「模型」频道最新
- Apollo 首见：GLM 会在推理时自发权衡行为对未来训练的影响 — MariusHobbhahn · 2026-10-15
- 网友实测 Gemini 4 argon 对比 Opus 5.5:3 分钟 3 美元 vs 25 分钟 8 美元 — zacharynado · 2026-10-15
- SentinelOne:OpenAI 8小时完成顶级研究员4-6周逆向工程 — OpenAI · 2026-10-15
- 关闭推理后 Qwen3.8 27B 加法正确率仅 23.57%，开启推理达 167/169 — dl_weekly · 2026-10-15
- 把嵌入模型 EmbeddingGemma 2 改造成语音双向模型 — kastnerkyle · 2026-10-15
- 爆料：合作伙伴已拿到 Claude Fable 5.5 内测，或下周发布 — lyraxana · 2026-10-15