Perplexity 开源级揭秘：embedding 服务比 vLLM 快 3-4.8 倍
inductionheads · x · 2026-09-05
Perplexity 发布研究博客，讲解其支撑 pplx-embed 系列 embedding 与 reranker 模型、EB 级搜索索引的 SoTA 服务基础设施。
核心洞察：embedding 模型的 serving 特征与 LLM 高度相似——批量索引是 compute-bound 的 prefill，在线查询是 memory-bound 的 decode，因此可以直接复用为大型 LLM 优化的 CUDA kernel，几乎零成本获得高效率。
运行时优化：
- 整模型 CUDA graphs 懒捕获，随引擎服务动态生成
- 用 Rust 实现 LazyTensor，让 CPU 调度与 GPU 执行重叠
效果：在 BGE-M3、128 token、单张 H200 的条件下，p50 延迟比 vLLM 低 3 倍，p99 低 4.8 倍。
所属事件:Perplexity 公开自研嵌入推理栈：Ivy、Tulip、ROSE 三层架构(8 条相关)→
「Infra」频道最新
- 开发者用 incus 容器给每个 Agent 独立工作区，解决 Mac 负载瓶颈 — kevinkern · 2026-10-21
- 黄仁勋指引明年营收增70%仍供不应求,一人唱衰韩云IPO难改算力荒 — firstadopter · 2026-10-21
- Pichai:所有人算力都严重短缺,谁都希望计划量翻倍 — firstadopter · 2026-10-21
- 斯坦福 CS336 第 6 讲:kernel 提速先少跑几趟显存 — stanfordnlp · 2026-10-21
- General Compute 携手 Positron：GPU 管提示，专用内存硬件管出 token — aftahi_ai · 2026-10-21
- 2026 年 AI 相关债券发行已达 4190 亿美元,比去年全年高出 90% — SumitGup · 2026-10-21