斯坦福CS336：从零实现Transformer
stanfordnlp · x · 2026-07-20
这张图展示的是 Stanford CS336 的作业 1，主题是“从零构建 Transformer 语言模型”。作业要求学生实现 BPE 分词器、Transformer LM、交叉熵损失与 AdamW 优化器，以及训练循环和模型/优化器状态的保存与加载。 作业还要求在 TinyStories 上训练分词器与模型、做样本生成和困惑度评估，并进一步在 OpenWebText 上训练，把困惑度提交到 leaderboard。说明这门课强调的是完整的模型训练管线，而不只是调用现成库。
「研究」频道最新
- FLock 上线机器人 VLA 训练任务 — matlabulous · 2026-07-20
- nginx 预认证RCE与捕获覆盖溢出 — jedisct1 · 2026-07-20
- AI读得懂话，不懂体验 — uxmag · 2026-07-20
- JEPA 是世界模型的正解吗 — ConsciousGreenPepper · 2026-07-20
- 预训练与RL联合缩放规律 — teortaxesTex · 2026-07-20
- 班加罗尔Paper Club：只聊研究不推销 — monkwhosoldsomething · 2026-07-20