科罗拉多教授手算 AI 架构，从 Transformer 到 Mamba
techNmak · x · 2026-08-18
科罗拉多大学博尔德分校教授 Tom Yeh 创建了一套独特的 AI 学习资源，让学生通过手算来理解现代 AI 架构。
- 核心理念：将复杂的模型架构缩小到可以一页纸展示，并用笔完成前向计算中的每一个数字。
- 覆盖范围：包括 Transformer、Self-attention、Multi-head attention、MoE、Switch Transformer、Mamba S6、CLIP、U-Net、Sparse Autoencoders、BitNet、RLHF 甚至 Diffusion Transformers。
这种方法旨在帮助学习者跳出抽象的图表和代码，通过数值计算直观掌握模型内部的数学运作机制。
「研究」频道最新
- 学者痛批滥用 AI 生成论文：连声明都懒得写，让人假设全由 GPT 代写 — canondetortugas · 2026-08-18
- 数据揭示 AI 加速发现：网络急升算法停滞 — soumitrashukla9 · 2026-08-18
- 发布 5 万小时计算机使用数据集：含键鼠操作 — DevvMandal · 2026-08-18
- 文档提取中的逐字段选择性风险控制：三种失败模式 — Bhaskar Gurram · 2026-08-18
- Sunflower 探索机械结构中的物理智能：无源被动式设计 — MarwaEldiwiny · 2026-08-18
- 成本仅 3.24 美元，弱监督标注完成百万图像蒸馏 — vanstriendaniel · 2026-08-18