The Extender: A Log-Structured Transformer

• 类型：arxiv
• 标识：2609.32759
• 链接：https://arxiv.org/abs/2609.32759
• 主分类：engineering
• 形态：position
• TLDR：We introduce the Extender, a log-structured variant of the standard Transformer architecture. In a standard Transformer, each layer communicates with subsequent layers exclusively via the residual h, a superposition channel. The Extender adds a concatenation channel x: each layer ell emits both a residual update δ_ell which is added to h, and a much smaller extension ε_ell which is appended to x. While both the FFN and q see h, the attention kv projections take only x as input. As a result, the fully extended x contains the complete input for the kv projections of all layers, reducing the pers
• 待LLM分类：是
• 标题中文：The Extender：一种日志结构 Transformer
• TLDR中文：我们提出 Extender，作为标准 Transformer 架构的一种日志结构变体。在标准 Transformer 中，每一层仅通过残差通道 h 与后续层通信，h 是一种叠加通道。Extender 增加了一条拼接通道 x：每一层 ℓ 同时输出一个被加到 h 上的残差更新 δ_ℓ，以及一个被追加到 x 上的、规模更小的扩展 ε_ℓ。FFN 和 q 都读取 h，但注意力的 kv 投影仅以 x 作为输入。因此，完全扩展后的 x 包含了所有层 kv 投影所需的完整输入，从而降低了逐层持久化……
• 来源文件：
• /inbox/tom/_candidates/2026-10-06-rag-retrieval-reranking-candidates.json
• /inbox/tom/_candidates/2026-10-06-agent-rag-longcontext-candidates.json