RTX 5090 预训练 2B 模型仅耗 6900 美元，性能对标 Qwen2.5
_reachsumit · x · 2026-08-28
Puro-2B 展示了一套低成本开源预训练方案，在消费级 RTX 5090 上以 FP8 精度从头训练 2B 模型，成本低于 6900 美元，性能逼近 Qwen2.5-1.5B。研究通过硬件选型、低精度训练、超球优化、课程模型平均及数据配方组合实现效率突破，并提出了关联训练成本与模型性能的 Puro 成本缩放定律，预测约 4400 美元可达同等性能。
所属事件:RTX 5090 上仅花数千美元从零预训练 2B 模型(2 条相关)→
「Infra」频道最新
- Apple 与 Meta 七年来首次公开合作：Mac Studio 串联跑 Muse Spark 模型 — pdamodaran · 2026-10-16
- NVIDIA 开发者生态达 1100 万，四 年多增长近 3.7 倍 — Beth_Kindig · 2026-10-16
- Muse Spark Open 经 llama.cpp 跑通 M3 Ultra：前沿模型上桌面 — pcuenq · 2026-10-16
- Muse-Spark 开源权重发布：816B MoE 模型 MLX 3bit 版已上线 — ns123abc · 2026-10-16
- Meta 发布开源模型 Muse Spark Open,联手 Apple 可跑在 M5 Ultra Mac Studio — The Verge AI · 2026-10-16
- vLLM 实现 Muse Spark Open Day-0 LoRA RL，AIME 从 0.56 提至 0.85 — vllm_project · 2026-10-16