开源 apple-llm:一行代码调用 Mac 内置本地 LLM,附踩坑指南
light_2earth · reddit · 2026-09-28
Apple Silicon Mac 在 macOS 26+ 内置了一个免费本地小模型:无需下载、无需 API key、数据不出本机。作者在做『从代码生成 API 文档』的工具时想直接用它,却发现坑不少:temperature 0 下反复复读、2 秒调用变成 20 秒;直到保持进程常驻,调用时间才从 17 秒降到 1.5 秒。他把这些修复打包成库 apple-llm(Node: npm install apple-llm;Python: pip install apple-llm)。
适合场景:从杂乱文本抽取结构化数据(邮件→工单、收据→报销,JSON 始终符合 schema)、打标签/摘要/改写、隐私敏感数据、分发给其他 Mac 用户的工具(对方无需装模型拿 key)。短板:编码与长推理,毕竟是小型模型。另有可选云端模式走 Apple 更大的服务器模型,但 prompt 会上传且有用量限制。
「编程与Agent」频道最新
- 通用 API 目录 MCP 服务器实测:3 个工具换来永不膨胀的上下文 — MandeepKaur9407 · 2026-11-16
- UC Berkeley 论文揭示 LLM「过期绑定」:新值在上下文中仍答旧值 — ombre-ai · 2026-11-16
- Effective HTML 走红 GitHub:4.2k 星的 agent 技能集,线框图秒变可交互原型 — tom_doerr · 2026-11-16
- skills-gate:一个门面 skill 管住所有 agent skills,148 个技能仅耗 389 token — Distinct-Pie2389 · 2026-11-16
- 开源 Karpo-Decision-31B 单次前向出概率,登顶 Decision Index 超越 Gemini — CodeByPoonam · 2026-11-16
- shadcn 转评 UI 生成工具:一周工作量一键复现且可直接跑 AI 测试 — shadcn · 2026-11-16