预训练算力非绝对壁垒,后训练才是真正挑战
近期讨论指出,获取大模型预训练所需的算力(如 10T 级)并非难以跨越的壁垒,中国产业界完全有能力承担。真正的难点在于预训练之后的环节:实验室需要并行跑多个相近任务并筛选最优结果推进至后训练与生产环境。在这种复杂的工程流程下,如何高效进行后训练并打造顶级模型,才是各方面临的真正考验。
2026-07-14 ~ 2026-07-14 · 2 条相关
- 算力够用,不代表能做出顶级模型 — teortaxesTex · 2026-07-14
- 预训练之后才是真正难点 — teortaxesTex · 2026-07-14