GPU profiling 入门路径:测 PyTorch attention 峰值显存,配 CS336 作业2 实战
stanfordnlp · x · 2026-11-22
一条面向初学者的 GPU 性能分析学习路径:第一个练手项目是测量 PyTorch attention block 在不同序列长度下的耗时与峰值显存,用 GPU MODE Lecture 1 学 profiling 工具,再配斯坦福 CS336 Assignment 2(systems)做模型层练习。
配套的 stanford-cs336/assignment2-systems 仓库(MIT 协议,384 stars/829 forks)是 CS336「Language Modeling From Scratch」2026 春季系统作业的学生版,包含 cs336-basics 与 cs336systems 模块、作业 PDF 与测试,仓库内还带 AGENTS.md 和 CLAUDE.md。
「编程与Agent」频道最新
- 23 章 Lean 4 小书免费在线读:从 BM25 到 Ollama 本地 LLM 全带实例 — danbri · 2026-11-22
- Claude Code 把 Kimi K3.1 当 200K 模型:95 次测试自动压缩 148 次 — zainhas · 2026-11-22
- NF Campos 力挺 LangChain 知识工厂文章:在多个领域独立得出几乎相同设计 — hwchase17 · 2026-11-22
- Mac 本地跑 Inkling 2 Mini 实测:20GB 模型、写入约 16 token/s — jacob_posel · 2026-11-22
- 斯坦福 CS329Z 客座讲座:Alex Shaw 讲解 Terminal-Bench 如何评测 AI Agent — stanfordnlp · 2026-11-22
- 斯坦福 CS329Z 讲座:多智能体系统何时帮忙、何时帮倒忙 — stanfordnlp · 2026-11-22