从 CPU 到 GPU 到推理服务：一个故事讲透 LLM 推理基础设施全链路
_jaydeepkarale · x · 2026-11-04
一篇用故事化方式讲解 LLM 推理基础设施的科普长文，从模型本质讲到服务化部署的完整链路：
- 模型即文件：模型只是装满权重（weights）的文件，70B 模型约 140GB，加载进内存、跑数学运算、返回文本。
- CPU 不行：模型推理需要同时进行数十亿次小乘法运算，CPU 串行处理太慢。
- GPU 的瓶颈与解法：GPU 有数千核心并行计算，但系统内存太远太慢会让核心空转，于是有了紧贴核心但容量有限的 VRAM——16GB 显存装不下 140GB 的模型。
- 因此需要模型服务化：把模型分布到多卡/多机并对外提供服务，这正是 AI infra 存在的起点。
整体是一篇适合非 infra 背景工程师理解"为什么跑大模型需要 GPU 集群和推理服务"的入门叙事。
「Infra」频道最新
- 斯坦福 ParallelKernelBench 入选 NeurIPS：LLM 零样本仅 32% 多卡 kernel 写对 — simonguozirui · 2026-11-04
- UC Berkeley 等发布 SpecPilot:自动为投机解码找最优算法 — UCBerkeley · 2026-11-04
- AMD 高管亮相 Fireworks AI Forge 活动,谈多年战略合作 — AnushElangovan · 2026-11-04
- 微软详解 Outlook 搜索改造：相关性排序扩至 7 条+弱网韧性 — benjamingauthey · 2026-11-04
- AMD 高管携 192GB 内存的 Strix Halo 工作站当面致敬 dhh — AnushElangovan · 2026-11-04
- 4 张 RTX 3090 组出 FrankenSTEAM 主机，实测跑 Qwen 大模型 — Civil_Fee_7862 · 2026-11-04