Perplexity 开源 Lily:Apple 芯片 Qwen 专用推理引擎,解码快 35%
inductionheads · x · 2026-09-03
Perplexity 开源了为其「Perplexity Computer」混合计算打造的本地推理引擎 Lily，专为 Apple Silicon 上的 Qwen3.6-35B-A3B（MLX affine 4-bit 权重）定制，避免端侧计算拖慢 Computer 任务。
技术要点：
- 基于 Rust 紧凑运行时（管理会话状态与生成循环）+ 运行时编译的自定义 Metal kernel
- 针对 Qwen MoE 架构精确优化：prefill/decode 的矩阵/向量 kernel、最小化 expert/attention/递归路径间数据搬运、按实际负载调优 tile 与内存布局
- 相比 MLX-LM，在 Qwen3.6-35B-A3B Q4 上 prefill 快 1.23 倍、decode 快 1.35 倍
暴露 OpenAI chat completions API 的最小子集，固定贪心解码；要求 Apple GPU family 10（M5 及更新）与 macOS 26+。代码与博客及复现步骤均已公开。
所属事件:Perplexity 开源 Lily：Apple 芯片上的 Qwen 专用推理引擎(5 条相关)→
「Infra」频道最新
- llama.cpp 弃用 --chat-template-kwargs，推理保留默认开启 — Bulky-Priority6824 · 2026-09-03
- Agentic API:在 vLLM 前加有状态层,把编排从客户端搬进服务端 — techNmak · 2026-09-03
- Google 发布 Gemini 3.8 Flash:干得更多但可能花更多 token — The Verge AI · 2026-09-03
- Mitchell Hashimoto 公开 Superlogical 服务器内存优化实录 — sull · 2026-09-03
- Lily 跑分:M5 Max 上预填吞吐高 MLX-LM 23%,解码高 35% — perplexity_ai · 2026-09-03
- Perplexity 开源本地推理引擎 Lily,专为 Apple 芯片上的 Qwen3.6 打造 — perplexity_ai · 2026-09-03