Paragraph Boundaries Are Not White Space:Compression Depth as the Signature of Hierarchical Structure
Shuyang Xiang
cs.CL
2026-09-20
只改段落坐标注意力就被压扁；Code上真结构深至-0.772，随机标签-0.238，深度才是签名。
位置编码把文本当成一条线：token i和j的关系只看阅读顺序距离i−j。段落是嵌套的。同样两句话，合成一段还是拆成两段，token序列完全一样，人读起来不一样。一个n token序列有2^{n-1}种段落切法，阅读顺序对层级结构不是充分统计量。
问题收得很窄：段落边界附近的注意力会不会被压扁？压得深不深，是不是真结构，会不会只是多开一条通道的副作用？
hRoPE把段落号p1、段内句号p2、句内token号p3分到独立旋转通道，互不合成一个标量。这样可以只改p1、token一字不动，做反事实干预。
两个干预：假合并，两段给同一个p1；假切开，一段中间插假边界。注意力先对层和头平均，再减掉对token距离的对数线性趋势，残差叫Deff。用β把干预效果标到段内基线=0、真边界=1。
对照模型在参数量、层数、训练步数、种子上对齐。flat是普通RoPE。sentaxial只有句和token轴。hropeaxial三段全开。randaxial架构同hrope，但p1每步重采样、密度对齐的随机标签。periodaxial把p1设成⌊t/L⌋的机械网格，只作镜像对照，不进深度比较。
模型很小：8层、8头、dmodel=512、上下文1024，训5000步，每语料3个种子。语料是WikiText-2、OpenWebText、Python源码。深度估计按精确token距离匹配，每个(d, Δp1)格子至少2000对。早先分箱估计把WikiText-2的符号都翻了，这篇改掉了那个做法。
只改p1就改注意力。WikiText-2上假合并ΔB=−1.300，假切开ΔC=+0.841，假边界相对真边界βC=1.060。OpenWebText几乎同量级。Code更强：ΔB=−3.769，ΔC=+3.373，βC=1.522，假切开比平均真边界还大。没有p1通道的flat和sentaxial，效应约0。
通道里装什么有差。把训好的hrope在推理时替换p1，验证损失一律real < period < rand < const0。Code上real是2.383、把p1塌成常数是2.720，差0.337 nats。三个语料上塌成常数都比real差0.30–0.34 nats。权重在认内容，不是认槽位有没有数。三种子只能算方向证据，单侧符号检验最小p=0.125。
压缩深度U越负越深：Code −0.772，WikiText-2 −0.481，OpenWebText −0.305。randaxial也被压，只是更浅：Code −0.238、WikiText-2 −0.220。OpenWebText上hrope −0.305、rand −0.326，配对区间含0，分不开。所以「有压缩」不够当真结构的证据，深度才是。压缩出现在哪个Δp1，WikiText-2上结构上估不出：段落中位约122 token，大位移格子凑不够2000对。
八个只看语料、不看模型的量，收成三个构念：词表持续性、段落长度、embedding连贯。没有一个完整复现Code深于WikiText-2深于OpenWebText的排序。相邻段embedding余弦减随机基线最接近：0.096 / 0.066 / 0.051，三个语料对里分开2/3。词表持续性λstruct把WikiText和OpenWebText排反。段落中位长度55 / 122 / 45 token，把Code和WikiText排反。
给做长文和位置编码的人一条硬结论：阅读顺序距离不等于结构距离。多开一条密度对齐的轴也会压注意力，别把「看见压缩」写成「模型懂段落」。如果要显式建模层级，深度比位置更稳，而且跟语料有关，机制还没钉死。实验全是8层512维、训5000步的小模型，没有下游任务数字。当现象论文读，别当新PE配方。
三语料、三种子，跨语料排序是描述不是推断。OpenWebText上真结构和随机标签的深度差分不开，可能是功效不够。periodaxial几乎由token距离决定，精确距离协议套不上。加法型「吸引加抑制」被排除了，softmax竞争没测。没有生产规模、没有下游指标。不声称普通Transformer内部已经有段落坐标。段落定义还按语料走：散文是自然段，代码是空行块，换单位可能换结论。