Sparse Readout Prism: Explaining Logit-Lens Scores in Features Instead of Tokens

• 类型：arxiv
• 标识：2609.01936
• 链接：https://arxiv.org/abs/2609.01936
• 主分类：rag
• 形态：method
• 被引：0
• 被引来源：Semantic Scholar + OpenAlex
• S2被引：0
• OpenAlex被引：0
• 影响力被引：0
• TLDR：Sarse Readout Prism (SRP), which decomposes the readout using only its weights and expresses any token logit or logit difference as a sum of contributions from sparse readout features, reveals readout features as a new unit of analysis for lens readings, exposing structure that token identities can obscure and enabling comparisons across tokens, contexts, layers, and lenses.
• OpenAlex ID：W7207836898
• OpenAlex DOI：10.48550/arxiv.2609.01936
• DOI：10.48550/arxiv.2609.01936
• DOI来源：OpenAlex
• 开放获取：green
• 开放获取链接：https://arxiv.org/pdf/2609.01936
• OpenAlex更新：2026-09-06
• 待LLM分类：否
• 标题中文：Sparse Readout Prism：用特征而非 token 解释 Logit-Lens 分数
• TLDR中文：Sparse Readout Prism (SRP) 仅使用 readout 的权重对其进行分解，将任意 token logit 或 logit 差表示为来自稀疏 readout 特征贡献之和，揭示了 readout 特征作为 lens 解读新单元的价值，暴露出 token 身份可能掩盖的结构，并支持跨 token、上下文、层与 lens 的比较。
• 来源文件：
• /inbox/tom/_candidates/2026-09-04-agent-rag-longcontext-candidates.json
• [OpenAlex backfill]
• [S2 enrich]