Recursive 的 Flint MoE 模型登陆 llama.cpp：39.8B 总参、每 token 仅激活 2.5B
jacek2023 · reddit · 2026-10-22
llama.cpp 合入 Flint 模型（FlintForCausalLM）支持的 PR #30928。Flint 由 Recursive 开发，架构要点：
- Decoder-only MoE Transformer，总参数 39.8B，每 token 激活约 2.5B（含输出头）
- 49 层：2 个稠密层 + 47 个 MoE 层；每层 256 个路由专家、每 token 选 6 个，另有常驻共享专家
- 注意力：35 层滑动窗口（窗口 513 token）+ 14 层全注意力；32 个 Q 头、4 个 KV 头，head dim 128；per-head QK RMSNorm 与可学习的 per-head attention sinks
- 上下文 262,144 token，词表 150,144，知识截止 2026 年 6 月
「Infra」频道最新
- Meta 开源 Muse Spark Open:816B 总参 42B 激活,百万 token 上下文 — togethercompute · 2026-10-22
- 数据中心投机债务被打包卖给养老金与大学捐赠基金 — churchkey · 2026-10-22
- 四卡 3090 跑 Qwen3.8 Flash Next:引擎怎么选引热议 — Civil_Fee_7862 · 2026-10-22
- 微软详解 Azure Maia 300:芯片到数据中心的端到端协同设计 — thoefler · 2026-10-22
- Vantage DC 预订超 1GW 产能，NVIDIA 800VDC 数据中心架构落地提速 — espricewright · 2026-10-22
- Railway 披露安全入侵事件,公开完整事故细节 — passenger · 2026-10-22