SageMaker 前缀感知路由上线：P50 TTFT 最多降 77%
AWS ML Blog · rss · 2026-09-11
Amazon SageMaker Inference 推出 PREFIXAWARE 路由：按请求开头的文本内容把共享同一前缀的请求 consistently 送到同一实例，让 KV cache 真正攒热。在 Llama 3.1 70B、7 台 p5.48xlarge、vLLM 的测试中，8000 token 共享前缀的长上下文负载 P50 TTFT 降低 71–77%、吞吐提升 15–16%、KV cache 命中率从约 25% 升到 82%；短上下文（ShareGPT 式）收益较小（P50 降 13–16%）。
机制与保障：
- 无需打标签，端点直接按 payload 开头做亲和路由；
- 过载保护：目标实例达到 ConcurrencyThreshold（1–1024）上限时自动溢出到空闲实例，宁可丢一次缓存命中；
- 扩缩容稳定：加减实例时大部分流量仍留在原实例，缓存不失效。
配置上，PrefixLength 取 1024–65536（原生 API 按字节、OpenAI 兼容 API 按字符计），需覆盖共享前缀并留出足够区分度。路由本身开销仅 1.3–1.9ms。适用场景：RAG（同文档多提问）、多轮对话、模板化指令 bot、代码补全。与前两种策略（RANDOM、LEASTOUTSTANDINGREQUESTS）可随时切换，无需重新部署。
「Infra」频道最新
- Anthropic S-1 曝基础设施承诺超 6000 亿美元，Google 1145 亿居首 — cedric_chee · 2026-10-26
- Anthropic S-1:每 1 美元收入烧 48 美分算力成本 — nmasc_ · 2026-10-26
- Persistent AI 入驻 UR 网络，隐私推理流量全程加密 — 0xSammy · 2026-10-26
- Anthropic 算力承诺曝光：Google 至少 1145 亿美元居首 — BenBajarin · 2026-10-26
- SpaceX 与 Apollo 达成 400 亿美元 AI 芯片与数据中心硬件租赁协议 — Polymarket · 2026-10-26
- Diamandis 盘点：SpaceX AI 业务年增 830%，Claude 64 小时设计 31.8 万抗毒蛋白 — PeterDiamandis · 2026-10-26