GPU profiling 入门路径:测 PyTorch attention 峰值显存,配 CS336 作业2 实战

stanfordnlp · x · 2026-11-22

一条面向初学者的 GPU 性能分析学习路径:第一个练手项目是测量 PyTorch attention block 在不同序列长度下的耗时与峰值显存,用 GPU MODE Lecture 1 学 profiling 工具,再配斯坦福 CS336 Assignment 2(systems)做模型层练习。

配套的 stanford-cs336/assignment2-systems 仓库(MIT 协议,384 stars/829 forks)是 CS336「Language Modeling From Scratch」2026 春季系统作业的学生版,包含 cs336-basics 与 cs336systems 模块、作业 PDF 与测试,仓库内还带 AGENTS.md 和 CLAUDE.md。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →