LLMs-from-scratch 仓库 GitHub 星标突破十万
rasbt · x · 2026-08-07
Sebastian Raschka 宣布其 LLMs-from-scratch 开源教程项目在 GitHub 上突破了 100,000 个 Star。该项目旨在帮助开发者从零开始理解并构建大语言模型。
项目核心亮点包括：
- 全链路从零实现：涵盖分词、注意力机制、预训练、分类和指令微调等全过程。
- 主流架构复现：从零实现 Llama、Qwen、Gemma 和 Olmo 的小型变体，支持本地运行。
- 前沿技术拆解：包含 GQA、MLA、滑动窗口注意力、DeepSeek 稀疏注意力、跨层 KV 共享以及 MoE 等架构组件的实现。
- 工程实践：涉及 KV 缓存、训练性能优化、显存高效加载、DPO、评估和 LoRA 等关键技术。
作者透露，目前正在开发一个更大的定制化“小型” LLM 应用项目，后续将分享更多细节。
「研究」频道最新
- 免费开源：12 章 LLM 可视化大师课教程 — mdancho84 · 2026-08-07
- 斯坦福 Evo 2 模型成功设计出可杀灭大肠杆菌的新型噬菌体 — HumbleRestaurant790 · 2026-08-07
- Quanta长文：AI为何总能攻克传奇的埃尔德什数学难题 — theomitsa · 2026-08-07
- Scale AI 论文提出交互式分类法，精准定位智能体故障源头 — theomitsa · 2026-08-07
- 生物 AI 领域也能遵循 Scaling Laws 吗？ — josephdviviano · 2026-08-07
- 跨模型复用 KV Cache：英伟达新研究让推理提速 25 倍 — theomitsa · 2026-08-07