9.9k 星开源项目:纯 PyTorch 从零训练并对齐你自己的 LLM
tom_doerr · x · 2026-09-20
GitHub 项目 train-llm-from-scratch(FareedKhan-dev,9.9k star)提供了一条从原始文本到对齐模型的完整训练路径。
- 基于《Attention is All You Need》用纯 PyTorch 手写 Transformer,不依赖 trl、peft、transformers 库
- 覆盖从数据下载、预训练到 SFT/RLHF 对齐与推理风格模型的全流程,单张 GPU 即可训练百万至十亿参数模型
- 附带 sftrlhfguide.ipynb 笔记本与后训练文档,核心思路是"文本变数字、预测下一个 token,再不断改数据和损失函数"
适合想理解 LLM 内部机制并亲手复现训练全流程的开发者。
「编程与Agent」频道最新
- ChatGPT 额度用尽改用 Claude 三天,Hermes Desktop 更新 2900 项改动 — seanwbren · 2026-09-20
- 问遍 58 家律所,只有 1 家算得清 AI 花在每个案件上的账 — jkubicki · 2026-09-20
- 开发者直播造 Bot 玩 ThursdayArena,从 2138 名选手冲到第一 — tetsuoai · 2026-09-20
- 一觉醒来欠 3.6 万美元：Cloudflare 无硬性消费上限的避坑指南 — ThePeterMick · 2026-09-20
- 用 VPS + Tailscale 给 AI Agent 搭一台常驻私有服务器 — EXM7777 · 2026-09-20
- Qwen 27B 一次性 prompt 生成三版「超级马里奥」复刻 — EcstaticDentist · 2026-09-20