Reddit 构想：10 个 7B 编码模型组成分布式集群能否打过单个 70B

According-Extent6016 · reddit · 2026-08-28

Reddit 用户提出一个分布式系统实验：不用单个 70B 编码模型，而是在多台 GPU worker 上跑多个独立 7B 模型，通过 orchestrator + 任务队列协调。流程设计为：10 个独立 7B 解 → 编译/执行筛选 → 批评幸存解 → 修复失败解 → 再跑测试 → 选出最优验证解，而非简单投票。

他计划用真实编码基准对比 1/3/5/10×7B 与 1×70B，并重点做系统工程：worker 注册发现、心跳、租约、故障检测、重试、幂等、优先级调度、背压、work stealing、分布式锁、可观测性、混沌测试等，把 GPU 供应商视为可替换的 worker 后端。他坦承动机之一是没高配硬件、想借朋友闲置笔记本，以及为简历展示系统能力，并征求社区意见：ensemble 多样性是否真能带来超越大模型的优势，协调开销与模型相关性错误是否是根本瓶颈。