专题 · FULL STORY

Puro-2B：单张5090低成本预训练开源方案

清华 PACMAN 团队发布完全开源的 Puro-2B 预训练配方，在单张 RTX 5090 上以 FP8 精度、约 5000 美元成本从零训练 2B 模型，号称达到 Qwen 级表现，随后在社区引发对消费级硬件可复现预训练的广泛关注与讨论。

2026-08-28 ~ 2026-08-31 · 2 集 · 6 条

第 1 集 · RTX 5090 上仅花数千美元从零预训练 2B 模型(2026-08-28,2 条)

arXiv 新论文 Puro-2B 提出一套开源、低成本、消费级硬件可复现的 LLM 预训练方案。作者在单张 RTX 5090 上以 FP8 精度从零训练 2B 模型，处理 1.4T tokens，总成本不超过约 6900 美元，性能逼近 Qwen2.5-1.5B，展示了消费级 GPU 预训练大模型的可行性。

第 2 集 · 清华团队5090美元在RTX 5090上复刻Qwen级模型(2026-08-31,4 条)

清华 PACMAN 团队发布完全开源的预训练配方 Puro-2B（基于 Qwen2-1.5B 架构，自称 "Poor Lab's"），在单块 RTX 5090 上以低于 5090 美元的成本即可从头训练出达到 Qwen2-1.5B 水平的 2B 模型；投入约 6900 美元则性能接近更强模型。方案结合 Blockwise FP8、MuonH 优化器和课程模型平均等技术，在 1.4 万亿 token 上完成训练，旨在降低大模型预训练门槛。