SGLang 首日支持 DeepSeek-V4.1 Flash,详解新架构设计
ying11231 · x · 2026-09-10
LMSYS 团队宣布 SGLang 与 RL 框架 Miles 在发布首日即支持 DeepSeek-V4.1 Flash，并发布技术博客拆解新架构。
关键架构要点：
- 压缩 KV 跨层共享：每层维护最近 128 个位置的 fp8 滑动窗口缓存，选定源层生成 fp4 压缩表示供长程注意力使用；查询同时关注本地窗口和由 indexer 选出的最多 512 个压缩位置，压缩与检索选择在层间共享。
- 两级稀疏 indexer 与 mHC（流形超连接）：每个子层通过 token 相关混合系数读写四条并行残差流，系数投影可与当前注意力/FFN 计算重叠。
- Engram 查找内存：第 1、14 层用哈希 n-gram 键从 fp8 大表中检索行并门控进残差流，博客详述了主机内存放置与性能优化。
- Miles 支持 RL：已验证 RL 训练可跑通。
模型参数：552B backbone（16B 激活解码/8B prefill），原生多模态，最长 1M 上下文。团队称未来几天将有重大性能优化。
所属事件:DeepSeek 开源发布 V4.1 Flash，超旗舰低价引热议(57 条相关)→
「Infra」频道最新
- Anthropic S-1：训练基建优势使单任务成本降40%、营收增速翻倍 — BenBajarin · 2026-10-26
- 研究揭示合成数据最优比例随算力从10%升至32% — heghbalz · 2026-10-26
- 多州暂停新建数据中心，72% 美国人反对建在家门口 — YvesMulkers · 2026-10-26
- 500 万美元种子轮不够 DeepSeek 训一遍:没 GPU 的 AI 创业只剩三条路 — FinanceYF5 · 2026-10-26
- HBM 需求转向:低端推理砍单,Rubin 将全系 12-high HBM — BenBajarin · 2026-10-26
- CircuitHub 发布工厂级机器人 The Grid，美国产 PCB 提速两倍对标深圳 — garrytan · 2026-10-26