手写 Transformer 自动微分：PyTorch 极简 autograd 实现开源
ifaposto · reddit · 2026-10-28
开发者 ifiaposto 发布了一个自包含的 PyTorch 项目，手动为基于 Transformer 的分类器实现 autograd，帮助理解自动微分的底层机制。
- 提供完整 GitHub 代码与 Colab 笔记本，可直接运行
- 适用场景：编写自定义 backward 传播、追踪梯度如何在 attention 块中流动
- 定位是低阶微分教学的动手参考实现，而非生产库
「研究」频道最新
- Lanyon AI 演示:用 LLM 构建可验证的科学模型 — JohnCabot · 2026-10-28
- NICT 团队 OptiMer 获 EMNLP2026 杰出论文奖,搜索成本降 15-35 倍 — prajdabre · 2026-10-28
- 论文实测：决策模型并不比微调 Reranker 更会重排 — omarsar0 · 2026-10-28
- 用 Claude 64 小时设计蝎毒抗血清,17 个候选完成实验室结合 — citrini · 2026-10-28
- 把 Flow Matching 移植进浏览器:ONNX + JS 本地生图免费玩 — NoenD_i0 · 2026-10-28
- 复现 Acemoglu 研究:民主化长期使人均 GDP 提高约 34% — ChenhaoTan · 2026-10-28