SGLang v0.5.17 发布:支持 Kimi K3 与 MiniMax-H3 视频生成
BanghuaZ · x · 2026-08-11
SGLang 发布了 v0.5.17 版本,带来了多项重要更新:
- 新模型支持:集成了 Kimi K3(针对百万级上下文进行了 KDA 感知前缀缓存等优化),并支持在 NVIDIA 和 AMD GPU 上运行。新增了 MiniMax-H3 开源视频音频生成模型,可在两张 RTX 5090 上本地生成 4-15 秒的 24fps 片段。
- 性能优化:MoE 预填充速度提升最高 1.92 倍,解码上下文并行性(DCP)获得可插拔通信后端,多轮智能体获得会话感知 KV 缓存。
- 工程改进:前端服务器初步使用 Rust 重写,引擎重启因权重缓存而加速。
- 本次更新还迎来了 45 位新贡献者。
「Infra」频道最新
- Xanadu 曝光光量子计算硬件:超低损耗铌酸锂晶圆 — ceciletamura · 2026-08-11
- 突破 GPU 瓶颈:探索下一代 AI 推理的能耗与架构最优解 — prateekj · 2026-08-11
- Strix Halo 硬件本地跑大模型:64GB/128GB 内存能带得动吗? — riklaunim · 2026-08-11
- 开源模型追平云端?开发者:已变成速度与质量的工程取舍 — cocktailpeanut · 2026-08-11
- GitHub Actions上周宕机,网友期待事故报告 — SkyLi0n · 2026-08-11
- 华尔街巨头联手英伟达,拟投 5000 亿美元加码 AI 基础设施 — firstadopter · 2026-08-11