3090 上跑多 Agent 并发：12 个 agent 总吞吐从 30 提到 110 tok/s
Mchanger · reddit · 2026-10-31
作者在单张 3090（24GB 显存）上跑 Qwen3 27B Q4KM、197k 上下文，实测发现同时跑多个 agent 的总 token 吞吐明显高于单 agent，尽管每个 agent 的 tps 和可用缓存都更小。
实测数据：
| Agent 数 | 总 tok/s | 单 agent |
|---|---|---|
| 1 | 30 | 30 |
| 2 | 46 | 23 |
| 4 | 64 | 16 |
| 6 | 74 | 12 |
| 8 | 78 | 10 |
| 12 | 110 | 9 |
| 16 | 111 | 7 |
作者指出 agent 越多每个分到的上下文越少，因此需要高效的自动压缩/循环；在此基础上可做 swarm，让每个 agent 按机器最优并发数（他这里是 12）派生子 agent 处理小任务，从而在不增加能耗的前提下把硬件利用率拉满。
「编程与Agent」频道最新
- Learner 机器人自动从 agent 轨迹提炼偏好，一键审批技能更新 — bfrench · 2026-10-31
- 实测 T3 code 能否胜过 ocra，顺带吐槽 CLI 工具移动端难题 — lxfater · 2026-10-31
- PentestCode 实测：免费模型驱动的终端自主渗透测试 Agent — glenbeer · 2026-10-31
- 无法回答的问题会虚高 Recall@K，开发者开源 RAG 评测工具纠正指标偏差 — infrixo · 2026-10-31
- Yacine 建议新手程序员:把硬件推到极限,用鼠尾发信号 — yacineMTB · 2026-10-31
- 开源推理库 resin 实战：Claude 4-5 小时接入冷门 Intel HPU，并发近线性扩到 b=16 — charles_irl · 2026-10-31