实测双本地 Agent 并发:Batching 真实存在但有代价
AIForOver50Plus · reddit · 2026-08-18
作者在 M3 Max MacBook 上使用 Qwen 3.8 27B 4bit 模型,实测两个本地 Agent 同时请求同一模型时的运行机制。通过编写精确同步的负载驱动脚本,发现服务器确实实现了持续批处理,两个 Agent 可共享模型。然而并发并非免费:增加 Agent 会提升总吞吐量,但单个请求延迟增加且启动等待变长。测试显示 4 个 Agent 是当前设备的最佳甜点,超过则无益。此外,固定随机种子会导致所有请求串行化。
「编程与Agent」频道最新
- Kinex 发布:让编码 Agent 直接操控任意实体机器人并从每次运行中学习 — daibond_alpha · 2026-10-16
- Every 发布 8000 字 Codex 编年史:深访创始团队并支持 agent 协作阅读 — danshipper · 2026-10-16
- 开发者 4 天重写 GitHub:Keel 让 Agent 先声明意图再改代码 — threepointone · 2026-10-16
- 小模型当裁判又塞满上下文:eval 常见反模式遭吐槽 — xeophon · 2026-10-16
- Meta 开放权重模型 Muse Spark Open 上架 Ollama:1M 上下文、可接 Claude Code — ollama · 2026-10-16
- Monid 上线:一个余额按次调用 1700+ 工具的 Agent 工具注册平台 — HeyAmit_ · 2026-10-16