16GB 显存的老师自建本地 AI：工具调用频繁翻车求建议
whakahere · reddit · 2026-09-03
一位小学教师分享了自建本地 AI 工作流的经验与困境：用双 GPU 工作站（16GB 显存跑 LLM）、NAS 和 Tailscale 组网，把口述的学生观察笔记自动归档到 Markdown 文件，还用 ComfyUI 做课堂资源。
他在用 A/B 测试对比闭源模型与本地模型时遇到瓶颈：
- 工具调用失败：即使 Q4 量化塞进 27B 模型，本地模型仍频繁选错 MCP 工具或根本不触发，而闭源模型一次到位
- 逻辑漂移：本地模型会破坏教案结构、偏离给定上下文
- 指令遵循差：对已定义的 skill 边界不敏感
他向社区求教：这是小模型/量化模型的已知局限吗？如何让工具定义对本地模型更鲁棒？哪些本地模型在精确工具调用和多步指令遵循上是金标准？
「编程与Agent」频道最新
- E2B 沙箱跑 RL rollout 快 3 倍,砍掉 GPU 空转成本 — badphilosopher · 2026-09-04
- Claude Code 新增 /limit-reset 命令，手动重置 5 小时限额每周仅一次 — dotey · 2026-09-04
- LM Studio 发布本地智能体 Bionic：语音、文档、编码全离线 — mattturck · 2026-09-04
- Perplexity 推出全本地版 Portable Computer,登陆 Linux 与 DGX Spark — AravSrinivas · 2026-09-04
- SpecterOps 开源 79 个 skills 与 22 个 agent，安全 tradecraft 可复用 — cyb3rops · 2026-09-04
- 用一条提示词在 Grok Bot 里搭五个角色组成 24/7 交易研究台 — socialwithaayan · 2026-09-04