斯坦福 LLM 课程涵盖从 Transformer 到训练全流程
kalyan_kpl · x · 2026-09-02
帖子推荐了斯坦福大学的一门 LLM 课程，称其为“金矿”。课程内容覆盖了预训练和微调 LLM 所需的所有基础概念，具体包括：NLP 背景与任务、分词、嵌入、Word2vec/RNN/LSTM、注意力机制、Transformer 架构；基于 Transformer 的模型与技巧（如 MQA, GQA, RoPE）；以及 LLM 定义、混合专家、上下文长度、采样策略、提示工程、思维链和一致性。此外还详细介绍了预训练、量化、硬件优化和监督微调 (SFT) 等训练相关内容。
「研究」频道最新
- 复旦提出持久智能体感知中心架构 — Fudan-University · 2026-09-02
- 李飞飞 WorldLabs 发布 Atlas 多模态世界模型 — 机器之心 · 2026-09-02
- Loop 推出供应链 AI 基准评测 AuditBench — daniellewis · 2026-09-02
- 3B 模型 TwIL 在形式推理上击败 120B 开源模型 — Socially-great8275 · 2026-09-02
- 用 Q-learning 训练 GDevelop 平台游戏 AI — tristanbob · 2026-09-02
- 谷歌开源 MAPL-EMIT：卫星监测甲烷泄漏准确率 84% — DynamicWebPaige · 2026-09-02