2x P40 跑 Qwen 27B：并行 agent 打散 KV 缓存的实战难题

Jumpy-Operation-4615 · reddit · 2026-09-14

作者用 2 张 P40（戏称「奶奶的 GPU 集群」）本地跑 Qwen 27B，实测可达约 45 tg/s、450 prefill，长上下文（150K+）下降至 120 prefill、12-16 tg/s。问题：必须严格单任务运行——同时启动 opencode 的 orchestrator、fixer、oracle 等多个 agent 会互相破坏 KV cache，prefix caching 全部失效、prefill 骤降。作者求问是否存在「单 agent 串行」的 harness：supervisor 委派任务后休眠，subagent 完成并写完整 handoff 后 supervisor 才醒来，全程只保持一个进程活跃以吃满 prefix caching。这是低显存本地部署多 agent 工作流的真实痛点讨论。