单卡 RTX 5090 跑 25 个 agent 发现:CPU 工具调用成真瓶颈,GPU 反而空闲
BringTea_666 · reddit · 2026-10-06
作者用单张 RTX 5090 搭建本地推理引擎(Kenshi → Godot 移植项目),两个月极限压榨后撞上了一个意外瓶颈。
经过:
- 优化缓存存储与 prefill 复用后,开始并行更多 agent(12 槽位服务器,跑 25 个 agent)。
- 结果 GPU 平均仅 700 t/s、上下文和槽位都空闲,但服务器效率反而下降——所有 agent 几乎全部卡在 tool call 状态。
- 查任务管理器发现:CPU 所有线程 100% 打满。工具调用是 CPU 密集操作,9800X3D 根本跟不上 agent 的工具执行速度。
结论: 做 agentic coding 时,决定吞吐上限的往往不是 GPU 解码速度或 prefill,而是 CPU 执行工具调用的能力。想真跑大量 agent,先升级 CPU。项目页面:kengodot.pages.dev,源码预告中。
「编程与Agent」频道最新
- 开发者用回 Codex 后直呼「基本没法用」,对比 Opus 5.5 — jacob_posel · 2026-10-06
- Zip 用 LangGraph 重建 agent:原来数周的迭代提速,全程零手写基建 — LangChain · 2026-10-06
- 开发者自制体素 Agent,可将真实建筑高精度转为体素模型 — Promptmethus · 2026-10-06
- Cursor SDK 新增运行中转向,子代理可转入后台继续干活 — tetsuoai · 2026-10-06
- 4DCodeBench 评测编程 Agent 用代码重建动态 3D 场景的能力 — CSProfKGD · 2026-10-06
- Agent harness 分级榜引争议:用自定义压缩的应大幅打折 — pvncher · 2026-10-06