4400 美元在 RTX 5090 上预训练出媲美 Qwen2-1.5B 的开源 2B 模型
IgorCarron · x · 2026-09-25
Puro-2B 项目发布了完全开源的 2B 模型预训练配方，声称可在消费级 RTX 5090 上从零训练一个匹敌主流小模型的 LLM：
- $4.4K：训练出的模型可超越 Qwen2-1.5B
- $6.9K：接近 Qwen2.5-1.5B 水平
- 全部配方（数据、流程、超参）公开，可复现
Igor Carron 转发并类比其博客 2021 年的「$1,000 GPT-3」一文：正如当年人类基因组测序成本从数亿美元暴跌至低于摩尔定律预测的水平，训练成本的急剧下降同样表明不能依赖单一技术的稳态进步，竞争会让商品化速度快于预期——如今「千美元级 GPT-3」式的成本坍缩正在小模型预训练上重演。
「Infra」频道最新
- Starlink 美国城市用户增速 73% 反超农村，上传速度提升 42% — XFreeze · 2026-11-11
- Cloudflare 采用未经实战的共识算法 QuePaxa,替代 Raft/Paxos 建 Meerkat — sull · 2026-11-11
- 用 AI 扫遍全美废弃商场，改造成数据中心的脑洞 — LinusEkenstam · 2026-11-11
- Anthropic S-1 曝 260 亿美元私募：七大供应商按 IPO 价入股 — demian_ai · 2026-11-11
- AMD 10Q 披露收购 Taalas 花费 29 亿美元,将 LLM 权重烧进硬件 — deedydas · 2026-11-11
- SpaceXSI 1.2GW 燃气电厂获密西西比州环保许可,为 Colossus II 供能 — XFreeze · 2026-11-11