推荐：从零构建并微调LLM的43集硬核教程
techNmak · x · 2026-07-20
推荐 Vizuara 制作的 43 集免费 LLM 硬核教程合集。该系列主打从零手搓大语言模型并进行微调，涵盖以下核心内容：
- 基础与数据：LLM 基础、Transformer 原理、手写分词器与 BPE、数据预处理管线。
- 注意力机制：从简化的注意力到 K/Q/V 自注意力，逐行代码实现多头因果注意力。
- 架构与训练：手写 Transformer 模块，搭建 124M 参数的 GPT-2 模型，编写预训练循环与解码策略（温度缩放、Top-k 采样）。
- 微调实战：从零构建垃圾邮件分类器，使用 Alpaca 格式进行指令微调，并使用 Ollama 评估。
注：部分进阶课程近期转为 YouTube 会员专享，但依然极具学习价值。
「研究」频道最新
- Linear Digressions 回归，推出 AI agents 音频随笔新季 — ChrisGPotts · 2026-07-21
- ARISE 研究评测 45 个医疗 AI 工具，覆盖 1100 个会诊案例 — HealthcareAIGuy · 2026-07-21
- 异步 OPD 蒸馏在数学任务上提速约两倍 — _lewtun · 2026-07-21
- 一个预测建模教训：只看 R2 为什么会更糟 — mdancho84 · 2026-07-21
- Google DeepMind 分享 Project Genie 的创作者协作幕后 — alexanderchen · 2026-07-21
- Nat Lambert 反驳 RL 蒸馏直接用最强模型当老师 — natolambert · 2026-07-21