开源 apple-llm：一行代码调用 Mac 内置本地 LLM，附踩坑指南

light_2earth · reddit · 2026-09-28

Apple Silicon Mac 在 macOS 26+ 内置了一个免费本地小模型：无需下载、无需 API key、数据不出本机。作者在做『从代码生成 API 文档』的工具时想直接用它，却发现坑不少：temperature 0 下反复复读、2 秒调用变成 20 秒；直到保持进程常驻，调用时间才从 17 秒降到 1.5 秒。他把这些修复打包成库 apple-llm（Node: npm install apple-llm；Python: pip install apple-llm）。

适合场景：从杂乱文本抽取结构化数据（邮件→工单、收据→报销，JSON 始终符合 schema）、打标签/摘要/改写、隐私敏感数据、分发给其他 Mac 用户的工具（对方无需装模型拿 key）。短板：编码与长推理，毕竟是小型模型。另有可选云端模式走 Apple 更大的服务器模型，但 prompt 会上传且有用量限制。