长上下文训练瓶颈：合成数据比注意力机制更棘手

SkyLi0n · x · 2026-07-11

针对“特定的高效注意力机制是否真的重要”这一疑问，作者指出，由于前沿模型都有各自变体且都行之有效，因此很难进行横向比较。他强调，在长上下文模型的训练中，**合成中段训练数据** 往往是一个同等甚至更大的瓶颈。