Beyond Sequence Order: Syntax-Informed Positional Embeddings for Transformers

• 类型：arxiv
• 标识：2608.06111
• 链接：https://arxiv.org/abs/2608.06111
• 主分类：rag
• 形态：position
• 被引：0
• 被引来源：Semantic Scholar
• S2被引：0
• 影响力被引：0
• TLDR：Unlike existing syntactic language models that marginalize over many parses at inference or discard syntax at runtime, SiPE conditions on a single parse, establishing a new Pareto frontier between syntactic supervision and inference cost.
• 待LLM分类：否
• 标题中文：Beyond Sequence Order: Syntax-Informed Positional Embeddings for Transformers
• TLDR中文：与现有句法语言模型在推理时对众多句法树求边际或在运行时丢弃句法不同，SiPE 以单一句法树为条件，在句法监督与推理成本之间建立了新的 Pareto 前沿。
• 副分类：llm-infra
• 来源文件：
• /inbox/tom/_candidates/2026-08-12-agent-rag-longcontext-candidates.json
• [S2 enrich]