「AI by Arms」:Prof. Tom Yeh 用站起来伸展手臂讲透自编码器
ProfTomYeh · x · 2026-09-09
Prof. Tom Yeh 分享他在课堂上用肢体动作教授自编码器(autoencoder)的教学法,并附上完整的手算推导流程。
- 比喻:张开双臂抱着 900 页教材,双手慢慢合拢到脖子前是 encoder——把整本书压缩到掌心那么大的「作弊纸」(bottleneck);考试时再把手张开、凭掌心笔记重建全书,就是 decoder,重建损失就是没记住的部分
- 手算演示目标:4 个数压缩到 2 维再重建:① 输入即标签(「auto」即自监督的由来);② encoder 两层,乘权重加偏置过 ReLU,负值置零;③ bottleneck 层把 4 维压到 2 维;④ decoder 对称地两层重建输出 Y;⑤ 用 MSE 梯度 2×(Y−Y′) 启动反向传播更新权重
- 结论:教育的本质就是 encoding 与 decoding
「研究」频道最新
- Ben Lorica：别迷信 RSI，模型是租的、改进闭环才是资产 — bigdata · 2026-09-09
- 独立 agent 如何形成集体信念崩塌？「群体机械可解释性」新方向提出 — Hidenori8Tanaka · 2026-09-09
- 2000 年数学家断言七大难题「计算机完全无法企及」,如今看耐人寻味 — minilek · 2026-09-09
- 学者倡议各学科列出可数学化关键问题,借 AI 可验证性引爆科学革命 — ValerioCapraro · 2026-09-09
- 前 Tesla 工程师热议:Transformer 被迫预测自身并构建信念状态 — yacinelearning · 2026-09-09
- 开源 4B VLM 用 RL 练 GeoGuessr，单卡 A100 跑赢 GPT 与 Haiku — SergioPaniego · 2026-09-09