Step 5 Preview 架构详解：Sparse GQA 块合并让索引器开销降 8 倍
teortaxesTex · x · 2026-10-15
阶跃星辰发布 Step 5 Preview 的架构与训练博客，核心是为长程 Agent 任务与百万级上下文设计的 Sparse GQA 稀疏注意力机制。
要点：
- 上下文达 1M token 时全注意力成为训练与推理的主要瓶颈，团队引入优化过的稀疏注意力加速。
- 针对稀疏注意力的三大瓶颈（indexer 开销、GPU 利用率、选择粒度与数据读取量的权衡）逐一优化。
- 发现现有稀疏注意力（如 DSA）中 indexer 开销不可忽视，超长上下文下甚至可能超过稀疏 FlashAttention 本身；对比两种方案后采用块级 token 合并（block size 8），将 indexer 与 top-k 选择成本降低 8 倍。
- 相邻 token 的 top-k 结果高度重叠，实现上对重叠计算分组以提升 GPU 利用率。
- 最终配置 B=8、k=4096：随序列变长，索引节省远超主路径额外成本，token 覆盖率仍接近 B=1、k=2048 基准（78.06% vs 79.09%），prefill 延迟在 1M 上下文下节省约 7.89 秒。
teortaxesTex 评价这是相对简洁的设计，亮点在 block-wise token merging 降低 indexer footprint。
所属事件:阶跃星辰开源 Step 5 Preview：600B MoE、百万上下文(2 条相关)→
「模型」频道最新
- kalomaze：集成合成数据可有效覆盖所谓“缺数据”领域 — kalomaze · 2026-10-15
- 新图像模型更易被攻破：攻击成功率超旧款两倍 — Scobleizer · 2026-10-15
- Gemini 一个提示词操控真机器人:自己走 SSH 找关节看人学动作 — heiga_zen · 2026-10-15
- HF 重构 tokenization 提速 Sentence Transformers,静态嵌入受益最大 — tomaarsen · 2026-10-15
- Hugging Face Tokenizers 再提速：BERT 分词器再快约 5 倍 — tomaarsen · 2026-10-15
- 开源语音模型 TYGER：250ms 端点延迟+全双工轮次控制 — KokaOP · 2026-10-15