Lily 开源上线:把 Qwen 算子直接映射到 Apple 芯片架构
perplexity_ai · x · 2026-09-03
Perplexity 发布 Lily 并开源,其设计理念是把 Apple 芯片当作独立的推理平台,将 Qwen 的算子直接映射到其计算与内存架构上。
GitHub 仓库(pplx-garden/lily,Rust 实现)要点:
- 面向单一 checkpoint 的 Metal 推理服务器:Qwen3.6-35B-A3B 的 MLX affine 4-bit 权重(group size 64)
- 暴露 OpenAI chat completions API 的最小子集,固定贪心解码
- Metal kernel 运行时从源码编译,无离线 shader 构建步骤
- 要求 Apple GPU family 10+(M5 及更新)、macOS 26+、Rust 1.92
- 加载时校验 35B-A3B 架构与量化布局,附基准报告与复现步骤
发布帖同时汇总了此前串内的跑分:Lily 在 M5 Max 上 prefill 吞吐较 MLX-LM 平均高 1.23 倍、decode 高 1.35 倍。
所属事件:Perplexity 开源 Apple 芯片专用本地推理引擎 Lily(8 条相关)→
「Infra」频道最新
- 论文：LLM 竞价采购平台可省 10%-71% 推理成本 — _onionesque · 2026-10-18
- 560B MoE 塞进 4 台 DGX Spark:Ling 3.1 Flash 用 llama.cpp RPC 跑通 — BerryBlush_Rogers691 · 2026-10-18
- SGLang Summit 赞助商一周从 11 家涨到 36 家 — ying11231 · 2026-10-18
- Oracle CDS 飙至 300bps 创纪录，被称 AI 交易倒下的第一块多米诺 — arthurcolle · 2026-10-18
- MIT 团队实测:agent 编码用量若按 API 计费每月高达 4 万美元 — ChrisRackauckas · 2026-10-18
- 越狱 PS5 跑 llama.cpp:开源 PS5LM 让主机变身家庭本地 LLM 服务器 — wateriscoding · 2026-10-18