天真版 torch.matmul 只用到 GPU 约 1% 算力，系列教程讲透 kernel 优化
Winter_Mistake_3185 · reddit · 2026-10-20
Reddit 上分享了一个 GPU Kernel Engineering 系列内容（含视频教程）。核心切入点：每天在调的 torch.matmul(A, B)，朴素实现几乎只用到 GPU 约 1% 的算力。系列讲解为什么会这样——内存带宽、tiling、共享内存、算子融合等限制——以及如何通过手写 kernel 逐步把利用率提上去，是从 PyTorch 用户视角理解 GPU 性能工程的系统性材料。
「Infra」频道最新
- Anthropic 或再向 Nscale 采购 450 亿美元算力，西弗吉尼亚建第二座数据中心 — firstadopter · 2026-10-20
- Semicon West 与 OCP 双会观察:3000 亿美元半导体设备市场与 TSMC N5 转 N3 — BenBajarin · 2026-10-20
- 高通联合 Liquid AI 推 Liquid Context,压缩多模态输入缓解端侧内存瓶颈 — JosephJacks_ · 2026-10-20
- PyTorchCon 企业 AI 日:Red Hat、NVIDIA、IBM 联手企业级落地专场 — PyTorch · 2026-10-20
- 新研究:SOAP/SPlus 白化梯度协方差,96 个 DiLoCo 节点稳定扩展预训练 — aaron_defazio · 2026-10-20
- 亚马逊 CEO：算力已售罄，缺口将延续到 2028 年之后 — rohanpaul_ai · 2026-10-20