高保密客户要本地化 LLM:16GB MacBook 跑 MCP Agent 不够用
Icy_Bumblebee8159 · reddit · 2026-11-12
一家代理商接到高保密需求客户,拒绝数据经过 Claude/OpenAI 等云端 LLM,于是搭建本地 on-prem 方案。POC 用 16GB MacBook + Ollama + Qwen3 abliterated 7B,结论是 16GB 远远不够:模型一次只能做一个 tool call。作者正在征求适合该场景的 GPU 建议。
「编程与Agent」频道最新
- ArcGrav:一套提示词原生的跨模型「智能体控制语言」,主打省 token 与一致执行 — ArchitecturalGravity · 2026-11-12
- 开发者一小时复刻 Perch:开源工具在 Mac 刘海区实时显示 Claude Code 会话 — demian_ai · 2026-11-12
- PyTorch 原生上 TPU：TorchTPU 入门教程 — kuanhoong · 2026-11-12
- llama.cpp 新 CUDA 内核让投机解码提速最多 35% — pmttyji · 2026-11-12
- antirez:前沿 LLM 已能搞定迁移移植这类「看情况办事」的开放任务 — antirez · 2026-11-12
- shadcn 宣布 "Era Two"：发布日开启新阶段 — shadcn · 2026-11-12