疑似 Qwen 新模型 n-gram 参数规模空前，前两层仅用 SWA
stochasticchasm · x · 2026-09-11
爆料者分析一个疑似 Qwen 系新模型的架构截图，指出其 n-gram（多词预测头）参数规模巨大，是迄今已知最大规模——此前 qwen-3.8-flash-next 为 51B n-gram 参数，该模型本身更大。
作者还注意到一个架构细节：前两层仅使用滑动窗口注意力（SWA）。他猜测 20 层中仅 2 层这样省的 prefill 算力不多，但「越局部越便宜」，背后可能有设计故事，或类似 MoE 中 first-k-dense 的思路。
所属事件:DeepSeek V4.1 Flash 技术报告流出：死磕 KV cache 压缩(44 条相关)→
「模型」频道最新
- Kimi K3.1 Pro 登顶 MathArena 开源模型，整体逼近 GPT-5.5 — teortaxesTex · 2026-10-26
- Ruff 作者感叹:前沿模型能在任何软件里找到无穷多 bug — charliermarsh · 2026-10-26
- 开发者实测同一 skill 跨 Opus 5.5 与 Sol 6.1:指令遵循表现参差 — lucasmeijer · 2026-10-26
- supermemory 发布 learner-1：面向任意模型的持续学习方案 — julianweisser · 2026-10-26
- Anthropic 称 Opus 5.5 单任务成本较 Opus 5 降约 40% — taufiqintech · 2026-10-26
- 27 家 AI 搜索接口横评:前 12 名只差 7 分,价格却差近 7 倍 — FinanceYF5 · 2026-10-26