DeepSeek 修复 Transformer 核心缺陷：信号放大 3000 倍难题

petrusenko_max · x · 2026-08-17

DeepSeek 发布论文，旨在修复所有 Transformer 模型在深度扩展时的核心缺陷。现有的残差连接虽然通过加法捷径帮助深层网络扩展，但在扩展数据流或使用超连接时，会导致信号放大高达 3000 倍，从而导致训练崩溃。DeepSeek 提出的「流形约束超连接」应用了 Sinkhorn-Knopp 算法来保持数据流平衡。该方法将不稳定性降至 1.6 倍，同时通过硬件优化保持了大规模推理的速度。