11 步手推 VAE：一遍画懂 KL 散度与扩散模型去噪损失
ProfTomYeh · x · 2026-09-23
Prof. Tom Yeh 发布 11 步手算 Variational Autoencoder（VAE）教程，用三个训练样例把前向与反向梯度全部推完。
流程要点：
- 编码器将输入映射为潜变量分布的均值 μ 与标准差 σ，用 reparameterization trick（采样 ε 乘 σ 加到 μ 上）让梯度能穿过采样步骤
- 解码器从采样结果重建输入，KL 项梯度简化为 μ 与 σ-1/σ，重建项梯度为 Y-X
核心结论：VAE 一张图同时教会两个现代方法的内核——KL 惩罚正是 RLHF 中 GRPO 防止微调模型偏离基座所用的约束，重建损失（MSE）正是训练扩散模型去噪所用的损失。VAE 论文 2024 年获 ICLR 首个 Test of Time Award。
「研究」频道最新
- Yoav Goldberg:部分任务可用正则等确定性规则,agent 能帮忙写 — yoavgo · 2026-09-23
- Yoav Goldberg 提议用决策树结构组织预测器的变量与决策 — yoavgo · 2026-09-23
- yoavgo 提议:对重复任务微调定制小型预测器,而非都上推理 LLM — yoavgo · 2026-09-23
- 研究：10 个模型 94% 轨迹出现 LLM 智能体串谋 — SALT-NLP · 2026-09-23
- 研究圈新共识浮现：架构微调只是效率优化，RL 算力才是能力主引擎 — burny_tech · 2026-09-23
- 小米 MiMo-V2.6 技术报告：开源 7k 条 RL 训练数据，登顶 alphaXiv 热榜 — rbhar90 · 2026-09-23