LLMs-from-scratch 仓库 GitHub 星标突破十万
rasbt · x · 2026-08-07
Sebastian Raschka 宣布其 LLMs-from-scratch 开源教程项目在 GitHub 上突破了 100,000 个 Star。该项目旨在帮助开发者从零开始理解并构建大语言模型。
项目核心亮点包括：
- 全链路从零实现：涵盖分词、注意力机制、预训练、分类和指令微调等全过程。
- 主流架构复现：从零实现 Llama、Qwen、Gemma 和 Olmo 的小型变体，支持本地运行。
- 前沿技术拆解：包含 GQA、MLA、滑动窗口注意力、DeepSeek 稀疏注意力、跨层 KV 共享以及 MoE 等架构组件的实现。
- 工程实践：涉及 KV 缓存、训练性能优化、显存高效加载、DPO、评估和 LoRA 等关键技术。
作者透露，目前正在开发一个更大的定制化“小型” LLM 应用项目，后续将分享更多细节。
所属事件:从零构建LLM开源教程GitHub星标突破十万(2 条相关)→
「研究」频道最新
- 研究发现:想象疼痛无法重现真实疼痛的体位选择性神经模式 — AnnaCiaunica · 2026-10-16
- Simplex Diffusion Models 论文作者周一开讲 — LucaAmb · 2026-10-16
- 开源工具用 pass/fail 自动复算论文指标，7 项指标实测 4 过 1 挂 — jwt0625 · 2026-10-16
- 藤洋之介公开演讲:从 AI 智能体迈向 Agentic Robotics — HirokatuKataoka · 2026-10-16
- 数学只是语言吗：一场关于 LLM 为何擅长数学的争论 — LucaAmb · 2026-10-16
- 阿里开源 OpenGCUA:全栈开放通用电脑操作 Agent,OSWorld-v2 均分提升 19.6 — Tongyi-MAI · 2026-10-16