清华开源 Puro-2B:4400 美元在 RTX 5090 上训出超越 Qwen2-1.5B 的模型

新智元 · wechat · 2026-10-15

清华大学陈文光、吕凯风团队推出全流程开源的「穷人版」预训练方案 Puro-2B,开源数据、框架、配置和权重,让十亿级模型预训练真正「训得起」。

在 RTX 5090 消费级显卡集群上从头训练约 20 亿参数模型,最多用 1.4 万亿 token;约 4400 美元成本即超 Qwen2-1.5B,6900 美元版本接近 Qwen2.5-1.5B
五大协同设计:RTX 5090 单位算力/美元约为 H200 的 2.77 倍,并用 PCIe P2P、GPUDirect RDMA 等系统优化让 MFU 超 70%
采用 FP8 训练(净效率收益约 1.34 倍)、MuonH 优化器(显式控制有效学习率 ELR,效率约 1.19 倍)
数据侧:高质量数据排到训练后段,配合课程模型平均 CMA,成本效率最高约 2.4 倍
提出 PuroCostScalingLaw 经验曲线,可在训练前估算不同预算能达到的水平
微调实验显示 CMA 预训练优势可延续到后训练(GSM8K +1.772.02 点)

这套方案的价值不只是更高的分数,而是一条可承担、可复现、可修改预训练过程的实验流水线。

「Infra」频道最新