PyTorch 大会将展示 KV 缓存跨层调度：CPU 还是共享存储更划算
PyTorch · x · 2026-10-20
PyTorch 官方预告，在 10 月 20-21 日圣何塞举行的 PyTorch Conference North America 上，Moreh 的 Bongwoo Bak 将展示海报《Where the Blocks Live》，讲解推理时 KV 缓存的管理：vLLM 在 GPU 显存吃紧时可将 KV cache 卸载到 CPU 或存储，llmd 则追踪每个缓存块的位置并把请求路由到对应缓存。演讲将分析什么时候 CPU 卸载就够了、什么时候共享存储才划算。会议门票 999 美元（学生 249 美元）。
「Infra」频道最新
- PFN 携手 Tenstorrent 研发光电融合 xPU,获 NEDO 立项至 2031 年 — DavidBennett__ · 2026-10-20
- 铜通孔内嵌金刚石提升导热,碳基芯片散热新思路亮相 — jwt0625 · 2026-10-20
- Physis 发布世界基础模型公司并推出推理系统 PhysisServe，将并入 vLLM-Omni — vllm_project · 2026-10-20
- 巴塞罗那超算中心 AI Factory 加速器选出三家 AI Champions — NVIDIA Blog · 2026-10-20
- Luma 发布 MARBLE:打包多模态序列的精确序列并行,48 项测试胜 47 项 — mrjonfinger · 2026-10-20
- 双 R9700 按层拆分跑大模型:单卡负载降至 50% 风扇静音 — yahbluez · 2026-10-20