大模型训练依然极度脆弱：从业者揭示预训练与后训练的高失败率

ivan_bezdomny · x · 2026-08-02

资深从业者指出，当前的大规模预训练和后训练（Post-training）过程依然极其脆弱且频繁失败。为了追求模型能力的极限，工程师通常需要在“最大化学习”和“维持基本稳定”的危险边缘试探。

外部消费者往往只看到成品，很难察觉到这背后训练过程的不稳定性。此外，即使训练达到了稳定状态，团队往往又会立刻尝试通过进一步的量化等手段挑战其极限边界。