SGLang 携手三星发白皮书:同 GPU 延迟降 3.1 倍
ying11231 · x · 2026-09-15
SGLang 将亮相 AI Infra Summit(9 月 15 日,booth #729),并与三星半导体联合演讲,主题为突破 LLM 推理的 KV cache 瓶颈。双方已发布联合白皮书:SGLang HiCache + Samsung Cognos 通过可组合的 AI Memory Node™ 扩展 GPU 内存,在相同 GPU 硬件上实现最高 3.1 倍延迟降低与 2.2 倍吞吐提升。
「Infra」频道最新
- MinIO:兼容 S3 API 的开源对象存储,彻底免掉数据出口费 — thisdudelikesAI · 2026-09-15
- NVIDIA 官宣 GTC 华盛顿站：2026 年 12 月 1 日黄仁勋主题演讲 — nvidia · 2026-09-15
- 民调:61% 美国人反对建 AI 数据中心,年轻人反对最烈 — justin_hart · 2026-09-15
- Neocloud 兴起史:失败公司如何逆袭成 AI 最大赢家 — bycloud · 2026-09-15
- 实测发现次正规浮点数拖慢性能的问题几乎仅存在于 Intel 处理器 — lemire · 2026-09-15
- Cloudflare 推「禁止 AI 训练」设置，苹果谷歌微软承诺遵守 — Cloudflare Blog · 2026-09-15