SGLang 携手三星发白皮书:同 GPU 延迟降 3.1 倍
ying11231 · x · 2026-09-15
SGLang 将亮相 AI Infra Summit(9 月 15 日,booth #729),并与三星半导体联合演讲,主题为突破 LLM 推理的 KV cache 瓶颈。双方已发布联合白皮书:SGLang HiCache + Samsung Cognos 通过可组合的 AI Memory Node™ 扩展 GPU 内存,在相同 GPU 硬件上实现最高 3.1 倍延迟降低与 2.2 倍吞吐提升。
「Infra」频道最新
- 模拟 20 万个月数据：五套家用 AI 主机，仅一套亏钱 — LeviTurk · 2026-11-02
- Tailscale 成众多创业公司单点故障，被巨头收购引发热议 — TheZachMueller · 2026-11-02
- Gary Marcus:多米诺骨牌开始倒下,算力将重演光纤过剩 — GaryMarcus · 2026-11-02
- 单台 H200 跑不动 DeepSeek 4.1 Flash，两台每小时 10.59 美元 — daluoseo · 2026-11-02
- 所有系统知识都将汇入推理与硬件，AI 时代技能版图正在重写 — Abhishekcur · 2026-11-02
- AWS 被曝算力订满至 2027，专家称「卖光」说法需看语境 — DavidLinthicum · 2026-11-02