Understanding Is Done Early: A Depth Division of Labor in Large Language Models and Its Use for Unbounded-Context Memory
- 类型:arxiv
- 标识:2607.28263
- 链接:http://arxiv.org/abs/2607.28263v1
- 主分类:multimodal
- 形态:method
- 被引:0
- 被引来源:Semantic Scholar + OpenAlex
- S2被引:0
- OpenAlex被引:0
- 影响力被引:0
- TLDR:This work introduces CoMem, which makes split depth j an explicit reusable-context axis: write one depth-j residual per token, select a bounded chunk set, and resume only layers [j:L).
- OpenAlex ID:W7172016991
- OpenAlex DOI:10.48550/arxiv.2607.28263
- DOI:10.48550/arxiv.2607.28263
- DOI来源:OpenAlex
- 开放获取:green
- 开放获取链接:https://doi.org/10.48550/arxiv.2607.28263
- OpenAlex更新:2026-08-26
- 副分类:rag
- 待LLM分类:否
- 标题中文:理解在前部完成:大语言模型中的深度分工及其在无界上下文记忆中的应用
- TLDR中文:本工作提出 CoMem,将拆分深度 j 显式化为可复用的上下文轴:为每个 token 写入一个深度 j 的残差,选择有界 chunk 集合,并仅恢复层 [j:L)。
- 来源文件:
- /inbox/tom/_candidates/2026-07-31-agent-rag-longcontext-candidates.json
- [S2 enrich]
- [OpenAlex backfill]