Ollama 教你在 16GB 笔记本本地跑私有 AI
minchoi · x · 2026-07-27
这条帖子给出了一套在 16GB 笔记本 上本地运行私有 AI 的实操方案：安装 Ollama 后直接跑 gemma4:e4b，默认下载约 9.6GB，很多 16GB 机器都能带起来；如果太吃内存，可以换更小的 gemma4:e2b。
帖子强调两点：一是模型初次下载后可以 离线运行；二是关闭 Ollama 的云功能后，提示词和回复都留在本机。另外还补充了如何调大上下文、启用本地图像输入，以及通过配置文件强制 local-only 模式。
「Infra」频道最新
- AI agent 发现 Bun 的 `child_process.spawn` 兼容性旧 bug — steipete · 2026-07-27
- llama.cpp 在 PR 25994 中加入 Nanbeige4.2 支持 — pmttyji · 2026-07-27
- 开源 Kimi K3 speculator 让单流吞吐升至 370 tok/s — vllm_project · 2026-07-27
- vLLM 列出 Kimi K3 的解耦、KV offload 和 MoE 方案 — vllm_project · 2026-07-27
- Inferact 的 Kimi-K3-DSpark 复用 MLA 缓存加速 vLLM — vllm_project · 2026-07-27
- Kimi K3 用固定 KDA 状态替代增长式 KV 缓存 — vllm_project · 2026-07-27