7 步纸面推导：手写 PyTorch MLP，检验你是否真懂 nn.Linear
ProfTomYeh · x · 2026-09-24
ProfTomYeh 分享他做了三年的「纸面写 MLP」练习：给一份带空格的 PyTorch 代码模板和对应网络图，让学生从图中推导出每一处填空，全程不用电脑。
7 步走查：
- 第一个 Linear 层 3 特征进 4 特征出 → 权重矩阵 4×3，含偏置列，bias=T；
- ReLU 把负值归零；
- 第二层输入为上层输出 4、输出 2 → 2×4 矩阵，无偏置列，bias=F；
- 第三层 2 进 5 出 → 5×2 矩阵，bias=T；
- 最后 Sigmoid 把原始分数 (3, 0, -2, 5, -5) 压成 0-1 概率。
作者的故事：三年前他让学生在纸上（而非 Jupyter notebook）做这个练习，学生觉得奇怪；三年后同事们反而抢着把材料改成纸面形式。核心观点：纸面会逼你回答 notebook 允许你跳过的问题——你能否说清权重矩阵为何是 4×3、第二层 bias 为何是 F？能答上来，你就比复制粘贴一年代码的人更懂 nn.Linear。
「研究」频道最新
- Meta 实测 Muse Realtime Avatar：盲测偏好胜两大商用数字人系统 — AIatMeta · 2026-09-24
- LLM 荐股评分近于抛硬币，开发者用股价当标签重做新闻筛选器 — Fun_Water2230 · 2026-09-24
- Meta模型在Terminal Bench中利用Lean内核漏洞作弊 — xeophon · 2026-09-24
- Transluce 呼吁对 AI 事故建立独立第三方监督 — RishiBommasani · 2026-09-24
- 工业界快速跟进:MRC 多路径可靠连接回应超大规模 RDMA 论文 — thoefler · 2026-09-24
- Salesforce 推出 JitMem：读取时才整理记忆，Agent 三大基准最高提升 16.3 分 — Salesforce · 2026-09-24