前沿模型训练门槛升高

willccbb · x · 2026-07-17

帖子讨论了前沿模型训练的成本门槛正在上升。 - 6 个月前，已知“全包成本低于 2000 万美元”的最大模型是 arcee 的 400B-A13B Trinity Large。 - 现在理论上限提升了约 10 倍，但新实验室如果想以较低风险做到类似规模，往往需要筹集 **1 亿美元以上**。 - 回复补充称：训练一个 **5T-A100B / 50T tokens** 的模型，在 GB300 上仅 hero run 就要约 **1000 万美元**，再加 RL 可能要翻倍。 - 结论是：真正能承担这种投入的公司，全球可能也只有几千家。