SGLang:RadixAttention 前缀缓存加速 Agent 工作流与长 prompt
goyalshaliniuk · x · 2026-11-02
推理引擎系列帖第 2 条，介绍 SGLang：面向快速高效的 LLM 服务，核心是 RadixAttention 和 prefix caching 来复用共享上下文，特别适合 agentic 工作流、长 prompt 和结构化生成。GitHub 38.4k stars、10.1k forks，Apache-2.0 开源。
所属事件:五大 LLM 推理引擎盘点：vLLM 与 SGLang 领衔(3 条相关)→
「Infra」频道最新
- Palmer Luckey 追问数据中心 RAM 的使用权边界:能否做服务条款禁止的事 — avaitopiper · 2026-11-02
- 本地跑大模型实测:关闭 MTP 可提升 20-30% 生成速度 — InternalMode8159 · 2026-11-02
- Kioxia 股价一年涨 216%，但较 6 月高点已腰斩再腰斩 — zephyr_z9 · 2026-11-02
- Intel 单日暴跌 29% 创 1970 年代以来最差，美国政府持股蒸发 120 亿美元 — emmanuelvivier · 2026-11-02
- 内存价格狂飙,大 V 自囤近 1TB DRAM 宣布一根也不卖给数据中心 — kevinnbass · 2026-11-02
- 律所自托管 LLM 实战：基础设施与数据合规比选模型难得多 — EducationalGroup7245 · 2026-11-02