开源模型已足以上手，端侧部署仍是硬骨头

dscape · x · 2026-08-27

日常使用的 AI 居住在别人的数据中心，每次提示都要往返服务器。开源模型现在已足够在笔记本上运行，但让前沿模型适配消费硬件并快速运行是残酷且不光鲜的工作（量化、写内核、 wrestle）。Prince Canuma 被称为 Apple MLX King，常在开源模型发布当天将其原生跑在 Mac 上。他的库 mlx-vlm 和 mlx-audio 下载量数百万，并与 Google DeepMind 等合作。现在他通过 Neywa Labs 和 Mac 应用 NativAI 实现了一键运行，无需终端。