从零预训练 GPT-2 124M：24.8 亿 tokens、4 张 A40 完整复盘
upulbandara · reddit · 2026-10-20
作者为理解 LLM 预训练，从零构建并训练了一个 GPT-2（124M 参数）：使用 4 张 NVIDIA A40，在约 24.8 亿 tokens（每参数 20 tokens）上完成训练，模型已能生成较为连贯的英文句子。项目受 Karpathy 的 nanoGPT 启发，代码与训练细节开源在 GitHub（upul/Build-GPT-2）。
实践覆盖的预训练关键环节：
- GPT 风格 Transformer 架构搭建
- 大规模数据集准备与分词
- PyTorch DDP 分布式训练
- 混合精度训练与梯度累积
- 学习率调度与训练优化
- 评估、checkpoint 与实验追踪
下一步计划是用 RoPE、RMSNorm、SwiGLU、GQA 等现代技术训练约 1B 参数的模型。
「Infra」频道最新
- Chrome 155 正式支持 JPEG XL:比 JPEG 小 30-50%，可无损还原原文件 — banteg · 2026-10-20
- Polymarket 证实 DeepSeek 开源推理降本工具，大幅削减 AI 运行算力成本 — Polymarket · 2026-10-20
- 推理、沙箱、RL训练：Together等四家算力云殊途同归 — NielsRogge · 2026-10-20
- 英伟达 GTC 柏林站开幕，黄仁勋主题演讲明日举行 — NVIDIAAI · 2026-10-20
- Hyperdrives CEO 访谈:靠解决电机散热造更小更便宜的高功率电机 — MarvinTBaumann · 2026-10-20
- 单卡 RTX 3060 12GB 跑通 MiniMax H3 视频生成，928p 仅 23 分钟 — Ok-Inevitable8391 · 2026-10-20