Perplexity 推理栈解析:Ivy 网关承担 CPU 侧预处理与批量拆分
perplexity_ai · x · 2026-09-05
Perplexity 官方介绍其推理架构中的 Ivy——HTTP 网关层，负责 CPU 侧请求准备：解析、分词、模板化，并在经 gRPC 发往 Tulip 前拆分大批量请求。这样可以在不动更重的推理服务器的情况下，独立调优请求格式和分词逻辑。
所属事件:Perplexity 公开自研嵌入推理栈：Ivy、Tulip、ROSE 三层架构(8 条相关)→
「Infra」频道最新
- 开发者用 incus 容器给每个 Agent 独立工作区，解决 Mac 负载瓶颈 — kevinkern · 2026-10-21
- 黄仁勋指引明年营收增70%仍供不应求,一人唱衰韩云IPO难改算力荒 — firstadopter · 2026-10-21
- Pichai:所有人算力都严重短缺,谁都希望计划量翻倍 — firstadopter · 2026-10-21
- 斯坦福 CS336 第 6 讲:kernel 提速先少跑几趟显存 — stanfordnlp · 2026-10-21
- General Compute 携手 Positron：GPU 管提示，专用内存硬件管出 token — aftahi_ai · 2026-10-21
- 2026 年 AI 相关债券发行已达 4190 亿美元,比去年全年高出 90% — SumitGup · 2026-10-21