Mac 本地跑 Inkling 2 Mini 实测:20GB 模型、写入约 16 token/s
jacob_posel · x · 2026-11-22
Inkling 发布本地运行指南,介绍如何在 Apple Silicon Mac 上用 Ollama 高效运行 Inkling 2 Mini(约 20GB,需 32GB 内存以上,48GB 更佳):
- 性能:M4 Pro 上读取 prompt 约 200–250 token/s,生成约 16 token/s;1 万 token 的 prompt 从头读取约需 40 秒。
- 缓存优化关键:Ollama 会缓存上一个 prompt,下一条完全以前缀相同开头时只读新增部分;所以要保持 prompt 简短、只在对话末尾追加,改动开头任何内容都会触发全量重读。
- 推荐设置:OLLAMANUMPARALLEL=1 保持单一干净缓存;OLLAMACONTEXTLENGTH=65536 足够 agent 使用;OLLAMAKEEPALIVE 权衡内存占用与响应速度(5 分钟空闲释放约 22GB);聊天用低 thinking 档位。
- 避坑:中断的请求会让缓存失效直到重启;夹入小的不同请求会挤出大缓存;Homebrew 版不支持 JSON schema 结构化输出。
- 与 agent 运行时配合:完整 agent 框架每次发大 prompt 且附带侧边调用,本地模型每轮要 45 秒以上;建议用薄 harness——短系统 prompt、只增长的对话、直接对 Ollama 跑工具循环。
「编程与Agent」频道最新
- 23 章 Lean 4 小书免费在线读:从 BM25 到 Ollama 本地 LLM 全带实例 — danbri · 2026-11-22
- Claude Code 把 Kimi K3.1 当 200K 模型:95 次测试自动压缩 148 次 — zainhas · 2026-11-22
- NF Campos 力挺 LangChain 知识工厂文章:在多个领域独立得出几乎相同设计 — hwchase17 · 2026-11-22
- 斯坦福 CS329Z 客座讲座:Alex Shaw 讲解 Terminal-Bench 如何评测 AI Agent — stanfordnlp · 2026-11-22
- 斯坦福 CS329Z 讲座:多智能体系统何时帮忙、何时帮倒忙 — stanfordnlp · 2026-11-22
- GPU profiling 入门路径:测 PyTorch attention 峰值显存,配 CS336 作业2 实战 — stanfordnlp · 2026-11-22