阶跃星辰开源 Step 5 Preview：600B MoE、1M 上下文、27B 激活
teortaxesTex · x · 2026-10-15
阶跃星辰开源 Step 5 Preview 权重：600B 总参数的稀疏 MoE，每 token 激活 27B，原生文本+视觉多模态，1M token 上下文，主打通用的长程 Agent 任务、AI 编程与金融等专业知识。权重已上 Hugging Face（含 BF16），可用 vLLM、SGLang 部署 OpenAI 兼容 API，配套开源 Agent 工具 Step Code。
teortaxesTex 进一步拆解了架构细节：
- 92 层 backbone（4096 维 hidden state），比 V4.1（总参数相近）层数更少更窄；仅 88 层为 MoE，#0/1/2/91 为 dense SwiGLU MLP（内部维度 13824，远大于专家的 1536）；
- 352 个路由专家，每 MoE 层每 token 选 8 个；混合注意力：512-token 滑窗 + 全局注意力层；
- 稀疏长上下文检索：压缩块索引器（compressed-block indexer）+ 新的稀疏区域 GQA 变体，历史按 8-token 区域压缩后做 top-512 区域检索，与 DeepSeek DSA（逐 token 选 2048）和 MiniMax MSA（128-token 块）同属稀疏注意力设计谱系但实现各异；
- 47 层视觉编码器（0.5Mp → 169 tokens），另有 3 个 multi-token prediction 层支持投机解码。
「模型」频道最新
- Paper Instruments 发布 Ultramarine 1 Flash:用 RL 训练不可验证知识工作 — lmoroney · 2026-10-15
- OpenAI Codex 负责人预告「重置」回归：Day 10 将在两小时内上线 — BMarinov · 2026-10-15
- SaaSletter：企业 AI 风险指标两年涨 9.3 倍，或预示 Anthropic 营收走势 — thedealdirector · 2026-10-15
- 网友爆料：Anthropic 疑似训练模型打游戏，Opus 5.5 游戏表现超 Astra — imjustnewatai · 2026-10-15
- Maya-2 开源发布:印度语系语音模型登顶 Hindi TTS 榜单 — CurieuxExplorer · 2026-10-15
- 模型或能纯靠文本指纹识别 AI 生成内容，评测沙箱面临被识破风险 — scaling01 · 2026-10-15