马斯克披露 xAI：预训练用自研 C/C++ 栈，强化学习栈仍是「遗留烂摊子」

jsuarez · x · 2026-09-14

马斯克透露 xAI 内部进展：预训练（pre-training）软件已切换为自研 C/C++ 技术栈，主要由 Starlink 软件团队编写，他认为「大概是业界最好的」；但强化学习栈仍是多个第三方系统拼凑的遗留架构，尚待重写统一。

回帖中有人推荐 PufferLib——面向小模型的最快纯 CUDA C 强化学习栈，称其虽用于非 LLM 任务，但设计中的许多技巧值得参考。