SGLang 发布 Qwen3.8-Flash-Next 母日部署食谱：176B 参数仅 6B 激活
NVIDIAAI · x · 2026-09-08
阿里 Qwen 团队发布 Qwen3.8-Flash（官方称 Qwen4 架构预览），SGLang 作为母日合作伙伴同步上线部署食谱（cookbook），每套方案均已在硬件上实测验证：
- 模型架构：176B 参数（文档口径），其中 51B 为 N-gram embedding 用于扩展模型容量，每 token 仅 6B 激活；N-gram 表可放在主机内存中异步预取，不占 GPU 显存
- 注意力设计：GDN + QSA 混合注意力兼顾长程任务的显存效率与精确检索；Gated Residual 提供 4 条层间信息通道
- 部署配方：单卡 RTX PRO 6000（PLE 表放系统内存）、单台 DGX Spark（本地 NVMe）、双 DGX Spark TP=2，并支持 RadixArk 与 NVIDIA ModelOpt 导出的 NVFP4 量化
- 注意事项：模型支持尚未进正式版，需按 PR #36497 从源码构建安装；团队称已根据社区反馈修复多个新架构相关问题
Muon 优化器训练、更多性能优化仍在路上。
「Infra」频道最新
- 开源编译器 Latch 从 PyTorch 生成训练 megakernel，H100 上提速 2.75 倍 — sguada · 2026-10-27
- NVIDIA 称 HGX Rubin NVL8 每兆瓦 token 吞吐为 B200 的 10 倍 — thursdai_pod · 2026-10-27
- 要么人力商品化，要么 GPU 商品化：算力经济二选一之辩 — _AustinCalvert_ · 2026-10-27
- DeepSpeed 发布 AutoEP/AutoTP 等并行化进展并办线上答疑 — PyTorch · 2026-10-27
- 9B 本地模型干机械活,规划交给大模型:一套省 token 的编程 agent 分工法 — Electrical_Ninja3805 · 2026-10-27
- Cloudflare Durable Objects 被验证为 AI agent 高并发场景优选架构 — tristanbob · 2026-10-27