SGLang Summit 议程曝光:LinkedIn 广告排序 10K QPS 延迟低于 80ms
bgmshana · x · 2026-11-13
Phala 联合创始人兼 CTO Hang Yin 将在 11 月 13 日 SGLang Summit 2026(旧金山 Fort Mason)发表演讲「Production Private Inference Using SGLang and dstack」,主题是基于 SGLang 与 dstack 的生产级私有推理。
大会官网还披露了部分议程亮点:
- 生产环境:Cloudflare 分享大规模部署经验;LinkedIn 讲解如何用小模型做广告排序,超 10K QPS 且打分延迟低于 80ms
- 引擎进展:Meta 将 PyTorch 引入 SGLang;阿里扩展 HiCache 支持长时运行 agent
- Agentic 工程:Perplexity 展示面向万亿参数模型、借助编码 agent 构建的极简 trainer;Modal 分享用 agent 开发与管理推理服务的早期结果
- 硬件:NVIDIA 讲述 SGLang 上 Vera Rubin 的适配与优化;Google 介绍 SGLang-TorchTPU 的全球生产部署
- 其他还包括 SGLang Omni 可打断式实时对话、Thinking Machines Lab 与 Meta 的 TorchTitan 训练系统工作等
所属事件:首届 SGLang Summit 旧金山开幕 OpenAI 英伟达 Meta 齐聚(4 条相关)→
「Infra」频道最新
- SpaceX 得州建 240 亿美元超算基地，先清走 60 年垃圾 — elonmusk · 2026-11-13
- 调查者无法复现 DeepSeek V4.1-Flash 权重种子，转向华为传闻或属实 — TheNormanMu · 2026-11-13
- OpenCartridge 的安全账：无鉴权、公开存储桶、Docker socket 全开 — maier_ak · 2026-11-13
- camenduru 开源 OpenCartridge：把 AI 模型打包成一键「卡带」 — maier_ak · 2026-11-13
- 在自己的 GPU 上生成游戏素材：OpenCartridge 能做什么、要你信什么 — maier_ak · 2026-11-13
- Sceye 花1亿美元造高空飞艇电脑,SoftBank 订购整队做全日本宽带 — kyliebytes · 2026-11-13