疑似 Qwen 新模型架构泄露：n-gram 参数规模空前

爆料者分析一个疑似 Qwen 系新模型的架构截图，指出其 n-gram（多词预测头）参数规模是迄今已知最大，此前传闻中的 qwen-3.8-flash-next 曾带 51B n-gram 参数。前两层仅使用 SWA（滑动窗口注意力），分析者推测该设计可能通过全局共享 KV 加独立 SWA 的组合，换取超小的 KV cache。

2026-09-11 ~ 2026-09-11 · 2 条相关

• 疑似 Qwen 新模型 n-gram 参数规模空前，前两层仅用 SWA — stochasticchasm · 2026-09-11
• 泄露架构疑似用全局共享 KV + 独立 SWA 换取超小 KV cache — stochasticchasm · 2026-09-11