Perplexity 自研引擎 ROSE:嵌入推理跳过 KV cache 改用 ragged attention
perplexity_ai · x · 2026-09-05
Perplexity 官方介绍模型引擎 ROSE：LLM 与嵌入模型复用同一套 kernel；嵌入推理时跳过 KV cache，用 ragged attention 替代 paged attention。ROSE 支持多个注意力后端，kernel 选择依模型形状和序列长度而定。
所属事件:Perplexity 公开自研嵌入推理三层架构(8 条相关)→
「Infra」频道最新
- 一行代码提升 PyTorch 速度:set_float32_matmul_precision 值得设置 — code_star · 2026-09-05
- Nvidia 发布 PAIR：把闲置 PC 和 Mac 变成本地 AI 算力 — emmanuelvivier · 2026-09-05
- Stripe 据称以超 70 亿美元收购 AI 模型路由器 OpenRouter — emmanuelvivier · 2026-09-05
- llama.cpp 发布 v0.4.0:新增 Qwen3.8-Flash-Next 与稀疏注意力大更新 — solyarisoftware · 2026-09-05
- 开源工具 Magnitude:一条命令找出你的电脑能跑哪些本地模型 — solyarisoftware · 2026-09-05
- Omarchy「Burn Bar」可视化监控 Claude/Codex 用量与 GPU 状态 — DanWahlin · 2026-09-05