华为开源openJiuwen：Agent算力亲和机制让首字时延降57%

机器之心 · wechat · 2026-08-11

华为 openJiuwen 开源平台针对多 Agent 长任务并发时的 KVCache 显存浪费与调度迟钝问题，提出了一套“算力亲和”协同机制。

核心断层：传统推理引擎只看缓存热度（如 LRU），看不懂 Agent 的任务状态（如工具等待、子任务结束等），导致显存无效占用或重复计算。
AgentHint 语义契约：框架在任务状态变化时，主动向推理引擎下发语义提示，将缓存管理升级为驱逐、卸载和预取的主动协同。
三层协同架构：JiuwenSwarm 感知任务状态，SAM（会话感知管理器）精细管理本地 NPU 显存，SPM（池化管理器）结合昇腾灵渠总线实现跨设备（HBM、DDR、SSD）的高速缓存流动。
实测效果：在 SWE-bench 并发任务测试中，开启该机制使首 Token 时延（TTFT）降低 57.46%，端到端时延降低 27.61%，池化缓存峰值降低 25.24%。

「编程与Agent」频道最新