12GB 显存本地跑双模型 Agent：大模型规划、小模型执行

Loose_Doubt367 · reddit · 2026-10-31

作者用 AMD RX 6700 XT（12GB）、R5 5600X、32GB 内存加 llama.cpp Vulkan 后端，设计了一套本地自动 agent 流程：定时用 Qwen3 27B（IQ3 量化）这类大模型自动加载并做任务规划，结果落盘后自行卸载，再由 TieltCoder Qwen3 35B A3B 这类小模型按指令执行研究、文件管理、总结等任务，可选让大模型回头验收并在失败时下发新指令形成 agent loop。作者强调小模型不应重复校验，规划全由大模型前置完成，目前仍在规划阶段，征求更合适的模型组合建议。