精选数据等于 6 倍算力:12B 模型以 1/5 预训练算力击败 30B
bodonoghue85 · x · 2026-10-24
Arimorcos 团队分享预训练实验结论：数据质量是最强的算力放大器。
- 经过精选的数据用 1/6 的算力即匹配了最大基线模型。
- 一个 12B 总参数、1.4B 激活参数的模型，在仅 1/5 预训练算力下击败了 30B-A3B 模型。
- 团队将于周二上午 10 点（太平洋时间）与 hurrycane、lukemerrick、joshwills 进行直播详解。
「Infra」频道最新
- Helion 与美商务部签意向书，获 1.75 亿美元建脉冲功率芯片产线 — ycombinator · 2026-10-24
- OpenAI 存储优化细节：广域复制+区域缓存+Rust 重写三板斧 — OpenAIDevs · 2026-10-24
- OpenAI 自述：三大改动让全球读取延迟从 120ms 降到 10ms — OpenAIDevs · 2026-10-24
- Rob Leclerc 力挺大厂巨额融资：5-10% 稀释换来远超比例的增长 — robleclerc · 2026-10-24
- NVIDIA 在 Hugging Face 开放 Nemotron 全家桶:语言、视觉、语音权重全放送 — mervenoyann · 2026-10-24
- 分析师预测 Google TPU 外销收入 2028 年或达 1000-2500 亿美元 — Beth_Kindig · 2026-10-24