Encoded Early, Used Late: Where Transformers Begin to Act on an Inferred Partner's Expertise

• 类型：arxiv
• 标识：2609.07139
• 链接：https://arxiv.org/abs/2609.07139
• 主分类：llm-infra
• 形态：method
• 被引：0
• 被引来源：Semantic Scholar + OpenAlex
• S2被引：0
• OpenAlex被引：0
• 影响力被引：0
• TLDR：It is found that partner expertise is most decodable in the early layers and falls to near chance before the midpoint of the network, and one model on a synthetic corpus is used as an initial demonstration.
• OpenAlex ID：W7211989252
• OpenAlex DOI：10.48550/arxiv.2609.07139
• DOI：10.48550/arxiv.2609.07139
• DOI来源：OpenAlex
• 开放获取：green
• 开放获取链接：https://doi.org/10.48550/arxiv.2609.07139
• OpenAlex更新：2026-09-11
• 待LLM分类：否
• 标题中文：Encoded Early, Used Late：Transformer 在何处开始作用于所推断的对话伙伴专业度
• TLDR中文：发现合作者专业能力在模型早期层最易被解码，到网络中点前降至接近随机水平，并基于合成语料以单个模型作为初步验证。
• 成熟度：research
• 场景：mechanistic interpretability、transformer internals
• 来源文件：
• /inbox/tom/_candidates/2026-09-09-agent-rag-longcontext-candidates.json
• [S2 enrich]
• [OpenAlex backfill]