RTX 5090 预训练 2B 模型仅耗 6900 美元，性能对标 Qwen2.5

_reachsumit · x · 2026-08-28

Puro-2B 展示了一套低成本开源预训练方案，在消费级 RTX 5090 上以 FP8 精度从头训练 2B 模型，成本低于 6900 美元，性能逼近 Qwen2.5-1.5B。研究通过硬件选型、低精度训练、超球优化、课程模型平均及数据配方组合实现效率突破，并提出了关联训练成本与模型性能的 Puro 成本缩放定律，预测约 4400 美元可达同等性能。