LMCache 接入 Phoenix GPU 直连存储,TTFT 平均降低 5.6 倍
AccBalanced · x · 2026-11-11
LMCache 团队介绍与腾讯 xPU-IO 项目 Phoenix 的整合。背景:Agent 推理上下文已到百万 token 级,单会话 KV cache 可达数十 GB,把 KV cache 下沉到 NVMe SSD 比 HBM/DRAM 便宜得多(单机可存 100 TB),但 SSD 离 GPU 最远,传统路径要经主存两跳。Phoenix 是开源的 GPU Direct Storage 层,让 SSD 直接 DMA 写入显存,绕过主存 bounce buffer,不绑定 GPU 厂商,已在 NVIDIA、MetaX 及 AMD Instinct MI308X 上验证。生产 trace 重放实测:对比纯 DRAM 缓存,平均 TTFT 降低 5.6 倍;对比 DRAM+SSD 分层方案,在 5 秒 TTFT 目标下并发承载提升 2.9 倍。技术上通过把 GPU 地址与内核页模型对齐,让显存成为普通 Linux I/O buffer。
「Infra」频道最新
- 单张 32GB 卡跑 763B DeepSeek：50 tok/s 与 2-bit 量化的真实代价 — Ryyn_- · 2026-11-11
- 玩家吐槽:GPU 产业靠游戏玩家起家,AI 热潮却让玩家买不起卡 — ark_forever · 2026-11-11
- CyberGate 开源:vLLM 上免改权重实现选择性拒绝转向 — DebtFluffy9219 · 2026-11-11
- 华为曾借白手套经台积电采购 AI 芯片，Sophgo 代理案回顾 — 0xkarasy · 2026-11-11
- 软银因数据中心减记 37 亿美元，单季净亏 1.12 万亿日元 — ns123abc · 2026-11-11
- 数据中心反弹蔓延：纽约废弃钢厂项目被社区舆论否决 — sebkrier · 2026-11-11