仅用 4400 美元在 RTX 5090 上从头训练 2B 模型
burny_tech · x · 2026-08-31
这篇论文提出了一套针对消费级 GPU（RTX 5090）的全栈低成本预训练方案。通过结合 Blockwise FP8、MuonH 优化器和课程模型平均等技术，研究团队在 1.4 万亿 Token 上以 FP8 精度训练了 Puro-2B 模型。
核心结论：
- 成本控制： 最佳模型计算成本低于 6900 美元，根据推导的成本缩放定律，仅需约 4400 美元即可达到 Qwen2-1.5B 级别的性能。
- 性能对标： 模型性能接近 Qwen2.5-1.5B。
- 技术栈： 证明了通过软硬件协同设计，小实验室也能承担 LLM 预训练成本。
所属事件:清华团队开源Puro-2B：五千美元级单卡预训练2B模型(6 条相关)→
「Infra」频道最新
- 铜转光：机架级光背板成 AI 数据中心下一步设计刚需 — BenBajarin · 2026-10-16
- Polymarket 开出 28% 概率：年内将有美国州级数据中心禁令落地 — Polymarket · 2026-10-16
- 宾州居民拒绝每户 1 万美元补偿，抵制亚马逊大型数据中心进驻 — Polymarket · 2026-10-16
- PyTorch 原生跑上 AWS Trainium，零代码改动 — PyTorch · 2026-10-16
- 业内爆料：中国实验室算力仅美国 1/10，字节 2-4 倍价扫东南亚算力 — robleclerc · 2026-10-16
- GPU 优化公司 Zymtrace 融资 1220 万美元，招 ML 工程师打造自主调优 Agent — cfregly · 2026-10-16