Cool Papers · cs.CL (papers.cool) · RSS 摘要

信源：Cool Papers · cs.CL (papers.cool) · https://papers.cool/arxiv/cs.CL/feed

• STEPQuant：Delta 规则循环状态量化中错误的时机与位置 — 线性注意力以固定大小的循环状态替代不断增长的 KV 缓存，但在并发服务场景下，这些持久化状态会成为显著的内存瓶颈。
• 借助教师监督预训练潜在信息反馈 Transformer — Transformer 语言模型（LMs）是前馈式的：深层表示从不会被反馈到浅层，信息跨层向下流动的唯一通路是……
• LongHarness Bench: Stress-Testing Language Model Harnesses for Long-Context Reasoning — 语言模型（LMs）编排框架借助额外算力使 LMs 在长上下文下有效运行，但现有长上下文评估不足以区分……
• From Routing Signals to Selective Review: Visual regrounding in MoE VLMs — 视觉语言模型（VLMs）可能接受错误的视觉前提，即便目标对象不存在，仍会回答其颜色、数量、位置或状态等问题。
• How Local Mixing Encodes Relative Position in Global NoPE Attention — 注意力运算天然具有位置不变性。然而位置信息对自然语言至关重要，因此多种显式位置编码被提出……