Beam 架构拆解:52 层 MoE 每_token_激活 8/256 专家
vllm_project · x · 2026-10-16
vLLM 团队介绍 Beam 的内部结构:52 层中每 token 从 256 个专家中激活 8 个,前 3 层为稠密 MLP。注意力在 512-token 滑动窗口与全局 NoPE 全注意力之间交替,兼顾本地处理与长上下文访问。
Harmony 格式承载推理与工具调用结构,另有独立的 5 层 drafter 提供投机解码 token。1M 是配置上限,不代表全窗口质量。
所属事件:vLLM 拆解 Beam 架构并优化长上下文性能(2 条相关)→
「Infra」频道最新
- Meta Muse Spark 开源版需 493GB 内存，16GB 笔记本根本跑不动 — TejasKumar_ · 2026-10-16
- CoreWeave 三日暴跌 20%,信用市场定价五年内违约概率超 60% — kimmonismus · 2026-10-16
- MiniCPM-V 4.7 端侧跑出 17 tokens/s,iPad 仅需约 3GB 内存 — techNmak · 2026-10-16
- 中国推「代工厂级 token 工厂」,2026-28 行动计划押注 token 经济 — nordicinst · 2026-10-16
- Vercel Sandbox Drives 正式上线:亚秒挂载 TB 级数据 — cramforce · 2026-10-16
- NVIDIA RTX Spark 正式发布，主打 Windows PC 本地跑 AI — ostrisai · 2026-10-16