Perplexity 批调度层 Tulip:CUDA graphs 加 LazyTensors 压延迟提吞吐
perplexity_ai · x · 2026-09-05
Perplexity 官方介绍 Rust gRPC 推理服务器 Tulip：位于 Ivy 与 ROSE 引擎之间，收集请求、组批后送 GPU。对小型嵌入模型，运行时间取决于 token 数而非查询数，约 512 token 即可填满 GPU。两项降延迟提吞吐技术：CUDA graphs 预录制 GPU 工作单次启动以减少 CPU 开销；LazyTensors 异步追踪结果，让 CPU 在 GPU 完成当前批次时准备下一批。
所属事件:Perplexity 公开自研嵌入推理栈：Ivy、Tulip、ROSE 三层架构(8 条相关)→
「Infra」频道最新
- 开发者用 incus 容器给每个 Agent 独立工作区，解决 Mac 负载瓶颈 — kevinkern · 2026-10-21
- 黄仁勋指引明年营收增70%仍供不应求,一人唱衰韩云IPO难改算力荒 — firstadopter · 2026-10-21
- Pichai:所有人算力都严重短缺,谁都希望计划量翻倍 — firstadopter · 2026-10-21
- 斯坦福 CS336 第 6 讲:kernel 提速先少跑几趟显存 — stanfordnlp · 2026-10-21
- General Compute 携手 Positron：GPU 管提示，专用内存硬件管出 token — aftahi_ai · 2026-10-21
- 2026 年 AI 相关债券发行已达 4190 亿美元,比去年全年高出 90% — SumitGup · 2026-10-21