耗资数十亿的模型在推理阶段翻车：一次昂贵的 Bug 排查实录

joshua_saxe · x · 2026-07-30

这篇被广泛转发的长文讲述了一个惊心动魄的 AI 基础设施事故：某团队历经 6 个月的「英雄式」冲刺完成了模型训练，所有评测指标均达到 SOTA 水准。然而，当他们将模型部署给推理提供商时，性能却遭遇断崖式下跌。

起初，团队怀疑是提供商的新硬件和未成熟的软件导致，但在进行多项数值测试后，一个令人绝望的事实浮出水面——出错的其实是团队自己的训练实现代码。这意味着耗资数十亿美元的预训练、中期训练和后训练流水线全部受到了影响。

面对这一灾难性 Bug，团队最初试图通过特定规则来掩盖问题，但最终不得不直面底层的基础设施缺陷。文章以极具张力的叙事手法，揭示了大规模模型训练中潜藏的巨大工程风险。

「Infra」频道最新