从零实现小型LLM
kalyan_kpl · x · 2026-07-10
这是一个“从零开始训练 LLM”的最小化 PyTorch 实现，目标是便于学习和理解。项目包含纯 PyTorch 代码、GPT 架构、Flash Attention、RMSNorm、SwiGLU、RoPE、top-k/p/min-p 采样、混合精度、梯度累积、学习率衰减，以及 TinyStories 数据集和 SentencePiece 分词器支持。
kalyan_kpl · x · 2026-07-10
这是一个“从零开始训练 LLM”的最小化 PyTorch 实现，目标是便于学习和理解。项目包含纯 PyTorch 代码、GPT 架构、Flash Attention、RMSNorm、SwiGLU、RoPE、top-k/p/min-p 采样、混合精度、梯度累积、学习率衰减，以及 TinyStories 数据集和 SentencePiece 分词器支持。