Engram深度解析：为何私有数据上的大模型训练会崩溃

AI Engineer · youtube · 2026-08-12

Jack Morris 在演讲中深入探讨了企业私有数据与大模型结合的核心痛点：如何针对私有数据扩展计算（Scaling Compute on Context）。

私有数据的“合成数据墙”

直接训练的缺陷：如果直接用一万份财务报告从头训练模型，Loss 可以降到极低，但模型的生成能力会彻底崩溃。
维度的枯竭：深度学习革命依赖的三大轴——更多公开数据、更大模型、更多算力。但面对企业私有数据（如内部邮件、会议记录）时，数据轴是固定的，从头训练不可行，算力成了唯一能继续推进的维度。

现有方案的瓶颈

KV 压缩：只能处理已经存在于上下文窗口内的数据，完全忽略了梯度更新。
策略蒸馏：虽然有效，但面临“蒸馏什么”的问题，原始文档无法直接用于蒸馏。
合成数据持续预训练：基于私有语料生成的合成数据很有前景，但它会覆盖原有预训练知识，且最终会撞上“合成数据墙”——模型一旦吸收了所有合成数据就会停止Scaling，无法像预训练那样持续受益。

终极目标：自我博弈

Morris 指出，理想的解决方案应该具备类似 AlphaGo 的自我提升特性：模型越强，生成的训练难题就越难，从而让持续投入算力能够不断换取模型深度的提升，而不是过早陷入平滑期。

「研究」频道最新