斯坦福 CS336 公开课走红:从手写 LLM 到吃透 SwiGLU 激活函数
stanfordnlp · x · 2026-09-26
有人分享了自己学习斯坦福 CS336「Language Modeling From Scratch」YouTube 公开课的经历,强调打好 AI/ML 基础的价值。
- 课程从零构建语言模型,视频里提到 SwiGLU 激活函数后,作者顺藤摸瓜学习了 ReLU、SwiGLU 等激活函数,以及 SwiGLU 如何解决 ReLU 的「死神经元」问题
- 冷知识:2017 年原始 Transformer 的 base/large 架构在 FFN 层用的是 ReLU;而 Llama、Llama 2、Mistral 等现代架构都改用了 SwiGLU
「公司和人」频道最新
- 网友调侃:Meta 上一个本土爆款产品还要追溯到 Marketplace — yungcontent · 2026-09-26
- OpenAI 挖来 Snowflake 美洲销售负责人，加码企业级市场 — thedealdirector · 2026-09-26
- 扎克伯格放话:靠暴力堆算力冲 ASI,Meta 将大幅抬升 CapEx 融资 — RihardJarc · 2026-09-26
- OpenAI 正全面审查智能体训练期上网行为,称 HF 事件最严重 — sama · 2026-09-26
- GCC 禁 AI 代码贡献，LLVM 允许但要求开发者必须理解代码 — lemire · 2026-09-26
- Fireship 盘点 Meta Connect 2026:Meta 又一次转向 — Fireship · 2026-09-26