不到 7 千美元：清华团队在 RTX 5090 上预训练 2B 模型
thu-pacman · hf · 2026-08-31
清华 PACMAN 团队发布 Puro-2B（基于 Qwen2-1.5B 架构，称 "Poor Lab's"），一套高性价比开源预训练配方：
- 在消费级 GPU（RTX 5090）上以 $5090 以内 的成本预训练 20 亿参数模型；
- 性能接近更大的基线模型；
- 过程中推导了成本缩放定律，并研究了数据课程（data curricula）的影响。
对个人和小团队复现预训练实验很有参考价值。
所属事件:清华团队开源Puro-2B：五千美元级单卡预训练2B模型(6 条相关)→
「Infra」频道最新
- 铜转光：机架级光背板成 AI 数据中心下一步设计刚需 — BenBajarin · 2026-10-16
- Polymarket 开出 28% 概率：年内将有美国州级数据中心禁令落地 — Polymarket · 2026-10-16
- 宾州居民拒绝每户 1 万美元补偿，抵制亚马逊大型数据中心进驻 — Polymarket · 2026-10-16
- PyTorch 原生跑上 AWS Trainium，零代码改动 — PyTorch · 2026-10-16
- 业内爆料：中国实验室算力仅美国 1/10，字节 2-4 倍价扫东南亚算力 — robleclerc · 2026-10-16
- GPU 优化公司 Zymtrace 融资 1220 万美元，招 ML 工程师打造自主调优 Agent — cfregly · 2026-10-16