Qwen 3.8 Flash Next 架构解析:利用 Next-n-grams 优化推理

antirez · x · 2026-08-30

Antirez 讨论了 Qwen 3.8 Flash Next 的技术细节:其在第二层使用 51B 的 n-grams 表来“丰富”当前 token 表示,并通过门控控制传递量。这种设计允许在第一层处理时从 SSD 加载 16 个小向量。评论指出,由于 51B 的 n-grams 可驻留在 SSD 磁盘上,该模型配合 2bit 量化可能是 64GB MacBook 本地推理的最佳选择(DwarfStar 策略)。

所属事件:Qwen 3.8 Flash Next 量化版或成 64GB Mac 本地推理优选(2 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →