cong_ml 在 48GB M4 Pro 本地跑 8 Agent 研究蜂群
congml 演示了完全在一台 Mac 上本地运行的研究智能体蜂群：8 个 agent 在 48GB M4 Pro 上通过 llama.cpp 共享同一个 40B Flint 模型，写代码、测试想法并在有效结果上互相迭代，用户只需给出一个问题和 一个要打破的分数。实测显示，批量并发推理让总吞吐接近翻倍，8 个 agent 的每小时有效实验产出是单 agent 的 2.3 倍。
已确认
- 硬件与模型：48GB M4 Pro Mac，llama.cpp 中加载一份本地 40B Flint 模型，8 个 agent 共享同一份权重。
- 并发机制：一个 llama.cpp 实例由服务端批量处理 8 个并发请求；在 M4 Pro 上，8 个并发请求的总 token 吞吐是单请求的 1.9 倍——单个 agent 写得更慢，但合计产出几乎翻倍。
- 协作机制：agent 共享「当前最优程序」，某个 agent 打破纪录后，其他 agent 下一轮从新最优起步。作者观察到若都从同一程序出发，agent 倾向尝试相同方向，因此让每个 agent 轮流获得四类不同指令：精炼某部分、换算法等，以防同质化。
- 实测数据：用三个任务（circle packing、job scheduling、自行车需求预测）对比 1 个与 8 个 agent 各跑六小时、每任务两次：8 个 agent 平均每小时产出 2.3 倍的有效实验，图表显示最终解也更好（如 circle packing）。
为什么重要
- 该方案展示了在一台消费级 Mac 上不依赖云端 API 运行多 agent 协作研究的可行性：多 agent 共享同一份模型权重并通过批量推理提升硬件利用率，为本地化、低成本的研究自动化提供了参考路径。
2026-10-27 ~ 2026-10-27 · 7 条相关
一手来源
- 在 48GB M4 Pro 上跑 8 个 Agent 共享一个本地 40B 模型做研究蜂群 — cong_ml ·
- 一个 llama.cpp 实例喂 8 个 Agent:并发推理提速 1.9 倍 — cong_ml ·
- 8 个 Agent 比 1 个快 2.3 倍:本地研究蜂群六小时实测数据 — cong_ml ·
- 【源头】在 48GB M4 Pro 上跑 8 个 Agent 共享一个本地 40B 模型做研究蜂群 — cong_ml · 2026-10-27
- 48GB M4 Pro 本地跑 8 个 agent 共享一个 40B 模型，批量并发吞吐 1.9 倍 — cong_ml · 2026-10-27
- 【源头】一个 llama.cpp 实例喂 8 个 Agent:并发推理提速 1.9 倍 — cong_ml · 2026-10-27
- 研究蜂群机制:共享最优程序,四类指令轮换防同质化 — cong_ml · 2026-10-27
- 【源头】8 个 Agent 比 1 个快 2.3 倍:本地研究蜂群六小时实测数据 — cong_ml · 2026-10-27
- 8 个 agent 共享一个本地 40B 模型，在 48GB M4 Pro 上跑科研 swarm — cong_ml · 2026-10-27
- 8 个 agent 共享一个本地 40B 模型,48GB M4 Pro 跑研究集群 — cong_ml · 2026-10-27