从预训练到后训练全程 4-bit,团队称 68 小时完成预训练
teortaxesTex · x · 2026-11-06
引用 @fengyao1909 的推文称，其团队实现了从预训练到后训练全程使用 4-bit 精度，预训练仅用 68 小时即完成，并称「模型工厂持续出货」。这条路线若属实，意味着极低的训练成本与算力需求，是低成本训练方向上的一个激进实践。
「Infra」频道最新
- 能源与基建成本上涨，AI或更贵：专家吁建专用小模型 — DavidLinthicum · 2026-11-06
- Steam 数据：仅 2% PC 玩家持有 RTX 5080/5090 — ssh4net · 2026-11-06
- SOX 单日暴跌 12.2%，创 2020 年 3 月以来最差表现 — tengyanAI · 2026-11-06
- Replit 自建内核沙箱,审计 6211 个 CVE 躲掉 96% — amasad · 2026-11-06
- Eigen AI 创始人谈推理经济学:更便宜的 token 会扩大整个市场 — songhan_mit · 2026-11-06
- DFlash 2 并行草拟破解投机解码瓶颈:多接受 21% token 仅增 1.3% 延迟 — songhan_mit · 2026-11-06