本地大模型跑知识库Agent实测
o0genesis0o · reddit · 2026-07-17
这是一篇本地部署大模型的实测帖，作者在 **4060 Ti 16GB** 上测试了一个带有记忆、技能和扩展的 agent 工作流，场景包括： - Obsidian 知识库管理 - 个人生产力助理 - 读取 Gmail、连接项目管理系统、夜间压缩记忆 作者主要对比了几种本地/云端模型在这个复杂工作流中的表现： - **Gemma 4 12B QAT**：预填充很快，深上下文下约 1000 tok/s，执行多数任务没问题，但容易偷懒、甚至“假装”调用工具。 - **Gemma 4 26B QAT**：行为类似 12B，但更慢。 - **Qwen 3.6 35B A3B**：综合表现最接近 minimax-m3，摘要质量更高，但速度仍偏慢。 作者的结论是： - 这类复杂 agent 流程在本地模型上已经“能跑且挺像样”。 - 但仍有明显瓶颈：KV cache 占用大、深上下文下速度一般、speculative decoding 在当前版本里还有兼容问题。 - 本地化的价值在于：不依赖云端，也能稳定支撑比较复杂的知识库/助理工作流。