KVCache Meetup Korea 深挖 LLM 推理栈:CXL 内存池化与批调度实践
PyTorch · x · 2026-11-03
PyTorch 官方回顾了由 PyTorchKR 与 XCENA 联合主办的 KVCache Meetup Korea,来自 XCENA、SK hynix、FuriosaAI 和 LMCache 的演讲者深入讨论了 LLM serving 的架构权衡。
演讲主题包括:
- 基于 Maru 的 CXL 内存池化
- prefill 与 decode 阶段 GPU 算力与 HBM 带宽的 roofline 分析
- RNGD 上的批调度
- LMCache MP Mode 的进程隔离缓存服务
核心结论是:真实世界的推理优化需要从加速器、内存架构到运行时引擎的全栈协同。
「Infra」频道最新
- 玩家想玩个模拟游戏也被告知 NO RAM FOR YOU — Cyborgized · 2026-11-03
- 算账：Agent 场景缓存价格比输入价更关键，一次未命中等于 25 次命中 — zitoliv · 2026-11-03
- Local Office 本地办公 AI 适配 Windows ARM64:Qwen3 4B 跑 NPU 约 80 tok/s — HowDevelop · 2026-11-03
- 全天跑 Comfy 视频生成账单对比：RunPod、Vast 与自购主机谁更划算 — EducationalGroup7245 · 2026-11-03
- 曝 DeepSeek V5 将几乎全程用华为昇腾芯片预训练，摆脱英伟达 — kimmonismus · 2026-11-03
- Linus 本地跑 Qwen3-27B 嫌慢，被网友吐槽没用 vLLM 白瞎 5 倍速度 — victormustar · 2026-11-03