消费级设备上的张量级推理调度
pmttyji · reddit · 2026-07-20
这篇论文提出 ATSInfer，一种面向消费级设备的混合 CPU-GPU 推理系统。作者指出，现有离载/卸载方案多停留在层级或专家级调度，无法细致处理同一层内部不同张量的异质性，也难以适应设备负载变化。
ATSInfer 采用张量粒度离载，结合静态张量放置、负载感知的动态传输，以及异步 CPU-GPU 协调，在笔记本/桌面平台上更高效地分配存储、数据移动和计算。
论文实验显示：
- prefill 吞吐最高提升 1.94×
- decode 吞吐最高提升 3.29×
- 同时提高了 GPU 利用率，并更充分利用 PCIe 带宽
作者结论是，这种设计能显著改善个人设备上本地 LLM 部署的体验。
所属事件:ATSInfer 优化本地大模型推理速度(2 条相关)→
「Infra」频道最新
- 劝退帖:推理工程是真金白银的硬活,八成尝鲜者已悄然放弃 — abhijithneil · 2026-09-11
- Hugging Face《Ultra Scale Playbook》:GPU 集群训练 LLM 的免费技术书 — mdancho84 · 2026-09-11
- 从聊天到 Agent,推理延迟正在成为生产级瓶颈 — Euphoric_Sea632 · 2026-09-11
- 推理服务关键指标盘点:流式速度 TPOT 与可用性如何影响体验 — abhijithneil · 2026-09-11
- PlanetScale 推出分片 Postgres,768 台服务器组成 1PB 单库 — dhruv2038 · 2026-09-11
- 7900 XTX 24GB 能否跑 Qwen，Reddit 征集 ROCm 实测数据 — thenomadexplorerlife · 2026-09-11