Perplexity 批调度层 Tulip:CUDA graphs 加 LazyTensors 压延迟提吞吐
perplexity_ai · x · 2026-09-05
Perplexity 官方介绍 Rust gRPC 推理服务器 Tulip：位于 Ivy 与 ROSE 引擎之间，收集请求、组批后送 GPU。对小型嵌入模型，运行时间取决于 token 数而非查询数，约 512 token 即可填满 GPU。两项降延迟提吞吐技术：CUDA graphs 预录制 GPU 工作单次启动以减少 CPU 开销；LazyTensors 异步追踪结果，让 CPU 在 GPU 完成当前批次时准备下一批。
所属事件:Perplexity 公开自研嵌入推理三层架构(8 条相关)→
「Infra」频道最新
- 一行代码提升 PyTorch 速度:set_float32_matmul_precision 值得设置 — code_star · 2026-09-05
- Nvidia 发布 PAIR：把闲置 PC 和 Mac 变成本地 AI 算力 — emmanuelvivier · 2026-09-05
- Stripe 据称以超 70 亿美元收购 AI 模型路由器 OpenRouter — emmanuelvivier · 2026-09-05
- llama.cpp 发布 v0.4.0:新增 Qwen3.8-Flash-Next 与稀疏注意力大更新 — solyarisoftware · 2026-09-05
- 开源工具 Magnitude:一条命令找出你的电脑能跑哪些本地模型 — solyarisoftware · 2026-09-05
- Omarchy「Burn Bar」可视化监控 Claude/Codex 用量与 GPU 状态 — DanWahlin · 2026-09-05