AWS 推出分布式 KV 缓存技能:自托管 LLM 成本降 40%、首 token 延迟降 80%

AWS ML Blog · rss · 2026-11-21

AWS ML Blog 发布「分布式 KV 缓存」agent skill(基于 Amazon ElastiCache),可让自托管 LLM 推理成本最多降 40%、TTFT 最多降 80%。

解决什么问题:自托管 LLM 时,每台 GPU 服务器各自持有孤立缓存,多轮会话/agent 恢复时不得不对全部历史 token 重新做 prefill,浪费大量算力。分布式 KV 缓存在 GPU 集群旁加一层共享缓存层,KV 状态可跨会话、跨服务器复用数天。

工作方式:该 skill 内置于 AWS Agent Toolkit,兼容 Kiro、Claude Code、OpenAI Codex 等支持 Agent Skills 的编码 agent,通过四段对话引导完成诊断、估价、部署与排障:

依赖:支持 EFA RDMA 的 GPU 实例(如 p5)、LMCache 0.5.8rc1+、vLLM 0.11.1+(或 SGLang 0.5.13+)、ElastiCache for Valkey 9.1。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →