消费级设备上的张量级推理调度
pmttyji · reddit · 2026-07-20
这篇论文提出 ATSInfer，一种面向消费级设备的混合 CPU-GPU 推理系统。作者指出，现有离载/卸载方案多停留在层级或专家级调度，无法细致处理同一层内部不同张量的异质性，也难以适应设备负载变化。
ATSInfer 采用张量粒度离载，结合静态张量放置、负载感知的动态传输，以及异步 CPU-GPU 协调，在笔记本/桌面平台上更高效地分配存储、数据移动和计算。
论文实验显示：
- prefill 吞吐最高提升 1.94×
- decode 吞吐最高提升 3.29×
- 同时提高了 GPU 利用率，并更充分利用 PCIe 带宽
作者结论是，这种设计能显著改善个人设备上本地 LLM 部署的体验。
所属事件:ATSInfer 优化本地大模型推理速度(2 条相关)→
「Infra」频道最新
- Anthropic S-1:每 1 美元收入烧 48 美分算力成本 — nmasc_ · 2026-10-26
- Persistent AI 入驻 UR 网络，隐私推理流量全程加密 — 0xSammy · 2026-10-26
- Anthropic 算力承诺曝光：Google 至少 1145 亿美元居首 — BenBajarin · 2026-10-26
- SpaceX 与 Apollo 达成 400 亿美元 AI 芯片与数据中心硬件租赁协议 — Polymarket · 2026-10-26
- Diamandis 盘点：SpaceX AI 业务年增 830%，Claude 64 小时设计 31.8 万抗毒蛋白 — PeterDiamandis · 2026-10-26
- Meta 拟发售至多 950 亿美元股票为 AI 基建输血 — The Decoder · 2026-10-26