Perplexity 开源 Lily:Apple Silicon 上的 Metal 极简推理服务器
AravSrinivas · x · 2026-09-03
Perplexity CEO Arav Srinivas 宣布开源 pplx-garden/lily,一个针对单一 checkpoint 的 Metal 推理服务器。
- 针对 Qwen3.6-35B-A3B 的 MLX affine 4-bit 权重,暴露 OpenAI chat completions API 的最小子集,固定贪心解码
- 要求 Apple GPU family 10+(M5 及更新)、macOS 26+、Rust 1.92
- Metal kernel 在运行时从源码编译,无离线 shader 构建步骤
- 性能报告附带测量契约与复现步骤,加载时校验架构与量化布局
所属事件:Perplexity 开源 Mac 本地推理引擎 Lily(8 条相关)→
「Infra」频道最新
- DeepSeek-V4-Pro 正式版发布：1.6T 参数 MoE，开源评测 Harness 同步亮相 — DeepLearningAI · 2026-09-03
- 博通 CEO:Anthropic 与 OpenAI 大购谷歌 TPU,将成其前两大定制芯片客户 — dinabass · 2026-09-03
- Hock Tan: 电力供应已直接决定算力部署的具体时点 — BenBajarin · 2026-09-03
- Perplexity 开源 Mac 本地推理服务,专为 Qwen 优化 Apple Silicon 性能 — Specter_Origin · 2026-09-03
- GLM-5.3-Flash 本地跑出 1005 tok/s,双卡 RTX PRO 6000 实测 — BanghuaZ · 2026-09-03
- Nvidia 市值占标普 500 约 8%,达美国 GDP 的 16.3% — ivan_bezdomny · 2026-09-03