专题 · FULL STORY

Puro-2B：单张RTX 5090从零预训练大模型

arXiv 论文 Puro-2B 提出可在单张 RTX 5090 上以 FP8 精度、数千美元成本从零预训练 2B 参数模型；随后清华 PACMAN 团队正式开源该完整方案，引发社区对低成本消费级硬件复现 LLM 预训练的广泛关注。

2026-08-28 ~ 2026-09-01 · 2 集 · 8 条

第 1 集 · RTX 5090 上仅花数千美元从零预训练 2B 模型(2026-08-28,2 条)

arXiv 新论文 Puro-2B 提出一套开源、低成本、消费级硬件可复现的 LLM 预训练方案。作者在单张 RTX 5090 上以 FP8 精度从零训练 2B 模型，处理 1.4T tokens，总成本不超过约 6900 美元，性能逼近 Qwen2.5-1.5B，展示了消费级 GPU 预训练大模型的可行性。

第 2 集 · 清华团队开源Puro-2B：五千美元级单卡预训练2B模型(2026-08-31,6 条)

清华PACMAN团队发布开源预训练项目Puro-2B，在单块消费级GPU（RTX 5090）上以不到7000美元的成本从头预训练出20亿参数模型，并公开全部训练配方，被视为算法优化挑战算力堆叠的代表性案例。

已确认

  • Puro-2B 基于 Qwen2-1.5B 架构（团队自称 "Poor Lab's" 模型），训练配方完全开源，可在 RTX 5090 上复现。
  • 核心成本数据：以 $5090 以内 成本即可复刻 Qwen2-1.5B 的水平；若投入约 $6900，性能可接近 Qwen2.5-1.5B。
  • 技术方案为一套针对消费级GPU的全栈低成本预训练方法：结合 Blockwise FP8、MuonH 优化器（亦有转发帖将其转述为超球优化）、课程模型平均（curriculum model averaging）及数据配方，在 1.4万亿 Token 上以 FP8 精度完成训练。
  • 项目动机：大模型训练成本过高，导致难以开展大规模对照实验；开源低成本配方有助于研究者进行此类实验。

尚未确认

  • 各转发帖中的成本口径不完全一致：@burnytech 一则转发提及 $4400 的更低成本版本，@kalyankpl 以约5000美元预算训练 Qwen3-1.5B 的说法转述该方案；官方口径以 $5090/$6900 为准，其余数字为转述，尚待原始报告核实。

为什么重要

  • 多位转发者（如 @burnytech）将其解读为算法优化对算力暴力堆叠的挑战，认为优秀的算法思想可以替代数百万美元的服务器成本，为小团队和实验室提供了参与前沿预训练研究的可行路径。
  • 完全开源的训练配方意味着社区可以在此基础上做系统性消融与改进，而非仅复现单个模型。