rasbt 从零实现推理模型第 6 课:手把手讲解并实现 RLVR 与 GRPO
rasbt · x · 2026-10-03
Sebastian Raschka 的「Reasoning from scratch」系列更新到第 6 轮,完整讲解并从零实现 RLVR(可验证奖励强化学习)与 GRPO(Group Relative Policy Optimization)。
内容分理论与实操两部分:
- 理论:推理模型与普通模型的区别、推理链与模型能力、准确性/格式奖励的设计、DeepSeek-R1 的 "aha moment"、RLHF 与 RLVR 的区别、GRPO 相对 PPO 的改进(含烹饪类比)及 KL 项与简化版 GRPO。
- 实操:加载预训练模型与 MATH 训练数据、采样响应、计算可验证奖励与优势、实现 token/序列对数概率、GRPO 损失与完整训练循环、训练设置与 checkpoint、最后在 MATH-500 上评估结果,并讨论训练稳定性与显存需求。
视频附完整时间戳目录,可当教程直接跟做。
所属事件:rasbt 从零实现 RLVR 与 GRPO 教程上线(2 条相关)→
「编程与Agent」频道最新
- ANT 上市前夜数据:Claude Code 一年反超 Cursor 和 Copilot — antgoldbloom · 2026-11-19
- 开发者向 GKE 沙箱项目提 PR:定期 checkpoint 防 agent 进度丢失 — yoimnotkesku · 2026-11-19
- AWS AgentCore Identity 支持私有 CA,Agent 可直连内网自建 IdP — AWS ML Blog · 2026-11-19
- Orchestrator Cloud Agents 结束测试正式上线 — julianweisser · 2026-11-19
- 开发者开源企业级 Agent 审计追踪模型:10 个数据模型找安全工程师挑刺 — TheHamzaShahbaz · 2026-11-19
- She 用 Claude Code 自制大头贴机:举手倒计时自动出照片条 — toolstelegraph · 2026-11-19