rasbt 重制第二课:手写 LLM 文本生成与 KV 缓存
rasbt · x · 2026-09-06
Sebastian Raschka 发布《Reasoning From Scratch》系列第二轮视频,为后续加入推理技术打底,本集完整走通文本生成流程。
- 环境:检查 PyTorch 与硬件支持、Apple silicon MPS 注意事项、云 GPU 选项
- 分词与 Qwen3:token/encoding-decoding、下载权重、加载预训练 Qwen3 并选择设备
- 生成机制:logits 与 next-token 预测、greedy decoding(argmax)、流式生成器、end-of-sequence 处理、生成基准测试
- KV 缓存:原理讲解、接入后实测加速比、torch.compile 模型编译及与 KV 缓存叠加、CPU vs GPU 性能对比
视频附完整章节时间轴,可当教程按步骤复现。
所属事件:rasbt 手写 LLM 文本生成与 KV 缓存课程上线 YouTube(2 条相关)→
「研究」频道最新
- 五年回顾：ML 辅助定向进化为何始终落地困难 — anshulkundaje · 2026-09-06
- 谷歌用 AI 重建果蝇全脑：16.6 万神经元完整 3D 图谱问世 — zacharynado · 2026-09-06
- 零 SFT 直接 RL:用 0.8B Qwen 基座跑 GRPO 数小时就能看会推理 — alexcovo_eth · 2026-09-06
- 顶数家 littmath：应降低 AI「最后一公里」成果的学术回报 — littmath · 2026-09-06
- MirroS 提出 Code-as-World：把物理世界重建成可执行代码来推理 — jiqizhixin · 2026-09-06
- Hugging Face 工程师公开 Blender+GRPO 训练 rollouts,调试 VLM 裁判踩坑 — mervenoyann · 2026-09-06