Lily 跑分:M5 Max 上预填吞吐高 MLX-LM 23%,解码高 35%
perplexity_ai · x · 2026-09-03
Perplexity 公布 Lily 引擎在 M5 Max MacBook Pro 上运行 Qwen3.6-35B-A3B 的基准结果:
- 在 10 种 prompt 长度 × 10 种解码上下文的组合下,Lily 全面快于 MLX-LM
- 平均 prefill 吞吐高 1.23 倍,decode 吞吐高 1.35 倍
- 输出质量基本不变
核心技术思路:将 prefill 与 decode 视为本质不同的工作负载——prefill 一次处理大量 prompt token、可跨 token 复用权重;decode 逐 token 生成、复用少,内存流量与带宽更关键。
「Infra」频道最新
- 覆盖 Bedrock/Azure/Vertex 三万条价格，开发者做出云端模型变动雷达 — jsandhu0780 · 2026-10-18
- 1270万 tokens 仅花 0.14 美元，缓存命中率 99.6% 的 agent 实测 — teortaxesTex · 2026-10-18
- 单卡 9060 XT 16GB 跑 Qwen3 27B：262k 上下文 42.7 tps — Maglcite · 2026-10-18
- SlateDB+Lance+Datafusion 自建数据栈,为客户年省数百万美元 — sh_reya · 2026-10-18
- 视频生成 API 每 10 秒约 0.5 美元,自建服务器何时更划算? — Key-Lychee-913 · 2026-10-18
- vLLM 联手 NVIDIA 优化 Kimi K3:GB300 上解码达 842 tokens/s — vllm_project · 2026-10-18