SGLang Summit 议程曝光：Meta、阿里、英伟达都来讲推理引擎
ying11231 · x · 2026-11-11
SGLang 官方宣布首届 SGLang Summit 将于 11 月 12–13 日在旧金山 Fort Mason 举行，本周旧金山街头已布满公交广告、LED 卡车与街机宣传。两天的技术议程几乎囊括整个开放 AI 推理栈：
- 生产实践：Cloudflare 分享大规模部署经验；LinkedIn 讲解如何用小模型做广告排序，QPS 超 1 万、打分延迟低于 80ms。
- 引擎进展：Meta 将 PyTorch 接入 SGLang；阿里扩展 HiCache 以支持长时运行 agent。
- Agentic 工程：Perplexity 展示面向万亿参数模型的极简训练器（借助编码 agent 开发）；Modal 分享用 agent 开发和管理 SGLang 推理服务的初步结果。
- 训练与后训练：Thinking Machines Lab 与 Meta 的 TorchTitan+Miles 工作；Decagon 用 RL 提升客服 agent 指令遵循并降低幻觉。
- 硬件：NVIDIA 讲 SGLang 上 Vera Rubin 的性能优化；Google 讲 SGLang-TorchTPU 的全球生产部署。
- 其他还包括 SGLang Omni 可打断式实时对话、HeyGen 的 GPU 成本优化、MiniMax 的影视工作流等。
所属事件:首届 SGLang Summit 11 月旧金山开幕，Meta 英伟达齐聚(3 条相关)→
「Infra」频道最新
- AMD 官宣日本 AI 巡回活动：全球月度 token 消耗两年增 158 倍 — DavidBennett__ · 2026-11-11
- vLLM GitHub 贡献者突破 4000，从伯克利研究项目到社区引擎 — vllm_project · 2026-11-11
- 4 万次 Agent 调用实测：83% token 走缓存价，前缀稳定性决定账单 — MichelleZhao91 · 2026-11-11
- LMCache 接入 Phoenix GPU 直连存储,TTFT 平均降低 5.6 倍 — AccBalanced · 2026-11-11
- megakernel 论战开撕:基础设施圈互相嘲讽 vibeslop 式 PR — AlpinDale · 2026-11-11
- 台积电董事会批准最多 10 亿美元投资 Anthropic 与 OpenAI — rohanpaul_ai · 2026-11-11