Perplexity 推理栈解析:Ivy 网关承担 CPU 侧预处理与批量拆分
perplexity_ai · x · 2026-09-05
Perplexity 官方介绍其推理架构中的 Ivy——HTTP 网关层，负责 CPU 侧请求准备：解析、分词、模板化，并在经 gRPC 发往 Tulip 前拆分大批量请求。这样可以在不动更重的推理服务器的情况下，独立调优请求格式和分词逻辑。
所属事件:Perplexity 公开自研嵌入推理三层架构(8 条相关)→
「Infra」频道最新
- 一行代码提升 PyTorch 速度:set_float32_matmul_precision 值得设置 — code_star · 2026-09-05
- Nvidia 发布 PAIR：把闲置 PC 和 Mac 变成本地 AI 算力 — emmanuelvivier · 2026-09-05
- Stripe 据称以超 70 亿美元收购 AI 模型路由器 OpenRouter — emmanuelvivier · 2026-09-05
- llama.cpp 发布 v0.4.0:新增 Qwen3.8-Flash-Next 与稀疏注意力大更新 — solyarisoftware · 2026-09-05
- 开源工具 Magnitude:一条命令找出你的电脑能跑哪些本地模型 — solyarisoftware · 2026-09-05
- Omarchy「Burn Bar」可视化监控 Claude/Codex 用量与 GPU 状态 — DanWahlin · 2026-09-05