SGLang Summit 议程曝光:LinkedIn 广告模型 10K QPS 延迟低于 80ms

DavidBennett__ · x · 2026-11-13

SGLang Summit 2026 将于 11 月 12-13 日在旧金山 Fort Mason 举行,官方公布两天技术议程,亮点包括:

生产部署:Cloudflare 分享大规模部署经验;LinkedIn 讲解如何以超过 10K QPS、打分延迟低于 80ms 服务广告排序小模型。
引擎进展:Meta 将 PyTorch 引入 SGLang;阿里巴巴扩展 HiCache 以支持长时间运行的 agent。
Agentic 工程:Perplexity 展示借助编码 agent 构建的万亿参数模型极简训练器;Modal 分享用 agent 开发和管理 SGLang 推理服务的早期结果。
训练与后训练:Thinking Machines Lab 与 Meta 的 TorchTitan 工作;Decagon 用 RL 改善客服 agent 的指令遵循并减少幻觉。
硬件:NVIDIA 讲解 SGLang 在 Vera Rubin 上的移植与优化;Google 分享 SGLang-TorchTPU 的全球规模生产部署。
实时与媒体:SGLang Omni 支持用户边说话边打断的对话;HeyGen 与 MiniMax 分享 GPU 优化降本与影视工作流。

「编程与Agent」频道最新