48GB M4 Pro 本地跑 8 个 agent 共享一个 40B 模型，批量并发吞吐 1.9 倍
cong_ml · x · 2026-10-27
- 作者演示在 48GB M4 Pro Mac 上用 llama.cpp 本地跑 40B 的 Flint 模型，让 8 个 agent 组成研究 swarm，共享同一份模型权重，写代码、验证想法、互相接力。
- 关键技巧是批量并发：8 个请求一起推理时，总吞吐达到单请求的 1.9 倍 tokens/s（M4 Pro、Metal 实测，三任务平均）。单个 agent 写得慢，但整体产出几乎翻倍。
- 玩法是给 agents 一个问题和一个要打败的分数，全部在本地完成，模型也跑在本机，无需云端 API。
所属事件:cong_ml 在 48GB M4 Pro 本地跑 8 Agent 研究蜂群(7 条相关)→
「编程与Agent」频道最新
- Kaggle 创始人查磁盘爆满：Claude 的 worktrees 偷偷吃掉数百 GB — benhamner · 2026-10-28
- 观点：LLM 循环纠错的价值被低估了 — burny_tech · 2026-10-28
- AI 电影制作平台 Fylmer 招募早期测试者，自研模型基于 MiniMax — BeingComfortablyDumb · 2026-10-28
- 硅谷一年写 70 篇 Agent Infra 研究，国内基金几乎无人跟进 — FinanceYF5 · 2026-10-28
- 网友 vibe coding 出 Factorio×SimCity 混合城建游戏，手机也能玩 — AndyMasley · 2026-10-28
- Nitro 用形式化验证把 SQL 编译成 Rust，ETL 快 10 倍省 3 倍 — kuza55 · 2026-10-28