本地小模型跑 Agent 总翻车？能力边界与选型探讨

Marblapas · reddit · 2026-08-07

开发者在本地部署 DeepSeek-V2:lite 时发现，模型在常规对话中表现正常，但一旦切换至 Agent 模式就会输出乱码。相比之下，Claude API 在 Agent 模式下则运行良好。

这引出了一个常见疑问：是否所有 AI 模型都适合作为 Agent？实际上，许多轻量级或非指令微调的模型在处理复杂的工具调用、JSON 格式输出和逻辑推理时容易崩溃。在 Hugging Face 上挑选 Agent 模型时，需重点关注其是否经过 Function Calling 或指令遵循的专门训练。