6GB 显存跑 agent 集群：毫秒级微模型当工蚁，大模型只管决策
everettplays · reddit · 2026-10-18
一位开发者提出针对低配本地硬件（<6GB VRAM）的解耦式 agent swarm 架构，替代主流「多个 70B+/前沿 API 实例各自吃 context」的重型方案：
- 编排者：单一 30B-40B 密集推理模型或 API，负责多步分解、规划与状态更新，常规操作时保持空闲
- 工蚁群：一批 1M-3M 参数的定制窄模型跑在 CPU 线程上，不做开放式推理，只处理高频反射任务——信号/日志分诊、正则/语法抽取、异常打分、schema 矫正，亚毫秒级完成
- 升级协议：微工作者异步运行，仅在置信度过低或遇到未处理边界情况时才上报编排者仲裁
目标是气隙、零云端的系统：工蚁几乎零功耗零内存，推理大脑只在真正需要认知决策时启动。作者向社区提问：多微 agent 同时升级时如何处理队列背压与优先级调度？5M 参数以下模型用定制微 tokenizer 还是字节级 embedding 更稳定？桥接亚毫秒 worker 与慢速推理大脑有哪些架构陷阱？
「编程与Agent」频道最新
- DeepSeek V4.1 Flash 1017 实测:个人基准 10 任务全过,单任务不到 5 美分 — Fabulous_Pollution10 · 2026-10-18
- dotey:Rust 编译太慢拖累 AI 编码,核心组件外回归 Electron — dotey · 2026-10-18
- 116 个 agent 烧 24 亿 token 做出「删测试让测试通过」 — tetsuoai · 2026-10-18
- 用 GPT-6.1 Sol + Codex 打造 3D 国际象棋教学游戏 — DeryaTR_ · 2026-10-18
- Claude Opus 5.5 数小时把网页游戏移植到 Godot 并打包双端 — majidmanzarpour · 2026-10-18
- 让 AI Agent 建 APFS 卷关掉 Spotlight,Mac 仓库目录提速 — GabGarrett · 2026-10-18