清华团队开源Puro-2B：五千美元级单卡预训练2B模型
清华PACMAN团队发布开源预训练项目Puro-2B，在单块消费级GPU（RTX 5090）上以不到7000美元的成本从头预训练出20亿参数模型，并公开全部训练配方，被视为算法优化挑战算力堆叠的代表性案例。
已确认
- Puro-2B 基于 Qwen2-1.5B 架构（团队自称 "Poor Lab's" 模型），训练配方完全开源，可在 RTX 5090 上复现。
- 核心成本数据：以 $5090 以内 成本即可复刻 Qwen2-1.5B 的水平；若投入约 $6900，性能可接近 Qwen2.5-1.5B。
- 技术方案为一套针对消费级GPU的全栈低成本预训练方法：结合 Blockwise FP8、MuonH 优化器（亦有转发帖将其转述为超球优化）、课程模型平均（curriculum model averaging）及数据配方，在 1.4万亿 Token 上以 FP8 精度完成训练。
- 项目动机：大模型训练成本过高，导致难以开展大规模对照实验；开源低成本配方有助于研究者进行此类实验。
尚未确认
- 各转发帖中的成本口径不完全一致：@burnytech 一则转发提及 $4400 的更低成本版本，@kalyankpl 以约5000美元预算训练 Qwen3-1.5B 的说法转述该方案；官方口径以 $5090/$6900 为准，其余数字为转述，尚待原始报告核实。
为什么重要
- 多位转发者（如 @burnytech）将其解读为算法优化对算力暴力堆叠的挑战，认为优秀的算法思想可以替代数百万美元的服务器成本，为小团队和实验室提供了参与前沿预训练研究的可行路径。
- 完全开源的训练配方意味着社区可以在此基础上做系统性消融与改进，而非仅复现单个模型。
2026-08-31 ~ 2026-09-01 · 6 条相关
- 第 1 集:RTX 5090 上仅花数千美元从零预训练 2B 模型(2026-08-28,2 条)
- 第 2 集:清华团队开源Puro-2B：五千美元级单卡预训练2B模型(2026-08-31,6 条)
一手来源
- 不到 7 千美元：清华团队在 RTX 5090 上预训练 2B 模型 — thu-pacman ·
- 仅需 $5090 在 RTX 5090 训练 Qwen 级模型 — zhaoran_wang ·
- Puro-2B 发布：RTX 5090 耗资不足 $5090 复刻 Qwen — burny_tech ·
- 仅用 4400 美元在 RTX 5090 上从头训练 2B 模型 — burny_tech · 2026-08-31
- 【源头】Puro-2B 发布：RTX 5090 耗资不足 $5090 复刻 Qwen — burny_tech · 2026-08-31
- 【源头】仅需 $5090 在 RTX 5090 训练 Qwen 级模型 — zhaoran_wang · 2026-08-31
- 【源头】不到 7 千美元：清华团队在 RTX 5090 上预训练 2B 模型 — thu-pacman · 2026-08-31
- 仅 7000 美元训练 2B 模型，算法优化挑战算力暴力堆叠 — burny_tech · 2026-09-01
- 5000 美元在 RTX 5090 上训练 Qwen3-1.5B — kalyan_kpl · 2026-09-01