预训练能力仍是少数人的门槛
ethayarajh · x · 2026-07-16
作者认为，**从零预训练一个像样的 LLM 需要大量流程知识**，而这类知识并不只是“后训练”能替代的。 他强调，真正掌握完整预训练能力的人仍然很少，当前大致只有少数几家大厂被普遍认为具备这种能力。即使现实中后训练贡献更大，保有从头训练的能力仍有两个价值： - 带来更多正外部性，推动生态整体进步 - 提高行业韧性，不至于长期依赖少数海外开源权重提供者 他的结论是：又多一个团队/主体进入这份名单，值得庆祝。
ethayarajh · x · 2026-07-16
作者认为，**从零预训练一个像样的 LLM 需要大量流程知识**，而这类知识并不只是“后训练”能替代的。 他强调，真正掌握完整预训练能力的人仍然很少，当前大致只有少数几家大厂被普遍认为具备这种能力。即使现实中后训练贡献更大，保有从头训练的能力仍有两个价值： - 带来更多正外部性，推动生态整体进步 - 提高行业韧性，不至于长期依赖少数海外开源权重提供者 他的结论是：又多一个团队/主体进入这份名单，值得庆祝。