曝 Qwen 3.8 Flash Next 明日发布：125B+51B N-gram 查表
teortaxesTex · x · 2026-08-25
爆料称 Qwen 3.8 Flash Next（125B 参数 + 51B N-gram embedding，激活 6B，基于下一代 Qwen 4 架构）明日发布。评论区 superelesha 分析了 51B N-gram 查表内存的实质：把近期 token 的 N-gram 哈希后从大表取向量混入隐状态，让主模型少花力气重建常见局部模式。
显存账（理想 4bpw）：
- 主权重 125B ≈ 58.2 GiB
- N-gram 表 51B ≈ 23.7 GiB，合计约 82 GiB
- 4×3090 下仅剩约 14 GiB 余量
提醒：实际 Q4 量化往往更重，某些量化器还会把 embedding 表留在 FP16/BF16，所以关键要看这 51B 参数的 dtype 与量化支持。
所属事件:阿里官宣 Qwen3.8-Flash-Next 开源，预览 Qwen4 架构(13 条相关)→
「Infra」频道最新
- 传 SK 海力士美国建厂或以美方放宽对华设备出口为条件 — pstAsiatech · 2026-10-15
- Perplexity 新 embedding 模型：大模型建索引、小模型做查询 — antoine_chaffin · 2026-10-15
- Unsloth 发布 Nemotron 3.5 本地量化包:Bolt 24GB 内存可跑 — danielhanchen · 2026-10-15
- vLLM-Omni 联手 BFL 与 NVIDIA 上线 FLUX 3 Image Klein 当日支持 — vllm_project · 2026-10-15
- NVIDIA Nemotron 3.5 Super VL 上线 Applied Compute 平台训推 — ypatil125 · 2026-10-15
- CoreWeave 债券收益率破 16%,贷款期限比客户合同长约 2 年 — tengyanAI · 2026-10-15