Paragraph Boundaries Are Not White Space:Compression Depth as the Signature of Hierarchical Structure

• 类型：arxiv
• 标识：2609.23551
• 链接：https://arxiv.org/abs/2609.23551
• 主分类：engineering
• 形态：position
• TLDR：Standard positional encodings represent position as a one-dimensional reading-order coordinate, but reading order alone does not determine hierarchical textual structure. We use a hierarchical rotary positional encoding (hRoPE) that represents paragraph, sentence, and token indices as separate channels, hold the token sequence fixed, intervene on the paragraph coordinate p1, and measure cross-paragraph attention with a token-distance-exact estimator. Attention is compressed relative to a token-distance-matched baseline in every corpus, but compression alone is not diagnostic of true structure:
• 待LLM分类：是
• 标题中文：[标题中文] 段落边界并非空白：压缩深度作为层级结构的特征
• TLDR中文：[TLDR中文] 标准位置编码将位置表示为一维的阅读顺序坐标，但仅凭阅读顺序无法确定层级化的文本结构。我们使用层级旋转位置编码（hRoPE），将段落、句子和 token 索引表示为独立的通道，在固定 token 序列不变的情况下，对段落坐标 p1 进行干预，并使用与 token 距离精确的估计器衡量跨段落注意力。在所有语料库中，相对于按 token 距离匹配的基线，注意力均呈现压缩现象，但仅凭压缩不足以诊断真正的结构：
• 来源文件：
• /inbox/tom/_candidates/2026-09-28-agent-rag-longcontext-candidates.json