手把手讲自编码器
ProfTomYeh · x · 2026-07-13
这是一篇用“手臂伸缩”类比讲解 **autoencoder** 的教学帖，核心是在说明模型如何把 4 个输入压缩到 2 维，再从这 2 维重建回原始 4 维。 ### 讲解脉络 - **Auto**：训练时把输入本身当作标签，目标是“自己重建自己”。 - **Encoder**：两层线性变换 + ReLU，把四维信息逐步压缩。 - **Bottleneck**：第二层后变成 2 维，信息被迫浓缩进“瓶颈”。 - **Decoder**：再经过两层变换，把压缩后的表示还原成输出 `Y`。 - **Loss**：用 `MSE` 比较输出 `Y` 和目标 `Y'`，梯度形式写成 `2 × (Y - Y')`，再通过反向传播更新权重。 ### 类比记忆法 作者用“抱着厚书把手收拢到脖子前”的动作来表示编码压缩，再把手臂展开表示解码重建，强调：模型无法完整恢复每一页，只能尽量保留“重要信息”，而这正是损失函数要持续缩小的差距。