AI工程师GPU底层教程：从token流转、显存计算到量化与多卡切分
kmeanskaran · x · 2026-11-13
一位推理工程师视角的 GPU 硬件长文教程，主张 2027 年的竞争力不在 RAG 和 Agent，而在底层执行能力。
覆盖内容：
- GPU 各组件的角色，以及一个 token 如何流经硬件
- 计算与内存两大瓶颈，FLOPS 的实际含义
- 训练 vs 推理的硬件需求差异
- CUDA Kernel 是什么
- 根据模型大小估算所需 GPU 显存
- 通过量化塞下更大的模型
- 多 GPU 与大模型切分方案
作者观点：随着人人都能用 AI 构建产品，agent 技能会趋于普及，而推理、GPU 与编排能力才是长期护城河。
「Infra」频道最新
- OpenOrange 发布：Cloudflare Workers 全家桶可跑在任何云上 — GabGarrett · 2026-11-13
- Inkling 2 Small 推理细节：每层需维护 3-token 滚动卷积缓存 — andrew_n_carr · 2026-11-13
- 微软称返修服务器「再来流量可能再瘫」，被讽容量规划崩坏 — Kyrannio · 2026-11-13
- 微软云中断要多久结束？统计规律：已持续多久就再预计多久 — esrtweet · 2026-11-13
- SGLang Summit 议程曝光:LinkedIn 广告排序 10K QPS 延迟低于 80ms — bgmshana · 2026-11-13
- 黄仁勋因间谍丑闻辞职，Derek Thompson 万字拆解 Nvidia 动荡 — zacharynado · 2026-11-13