Lifelong In-Context Learning with Transformers Requires Parametric Forms of Attention

• 类型：arxiv
• 标识：2606.25342
• 链接：http://arxiv.org/abs/2606.25342v1
• 主分类：agent
• 形态：method
• 被引：0
• 被引来源：Semantic Scholar + OpenAlex
• S2被引：0
• OpenAlex被引：0
• 影响力被引：0
• TLDR：It is argued that extending in-context learning to lifelong settings is a practical solution for continual learning in AI agents and that parametric forms of attention are needed to understand a lifetime of context with transformers on a fixed hardware budget.
• OpenAlex ID：W7165889313
• OpenAlex DOI：10.48550/arxiv.2606.25342
• DOI：10.48550/arxiv.2606.25342
• DOI来源：OpenAlex
• 开放获取：green
• 开放获取链接：https://doi.org/10.48550/arxiv.2606.25342
• OpenAlex更新：2026-07-19
• 待LLM分类：否
• 标题中文：基于 Transformer 的终身上下文学习需要注意力的参数化形式
• TLDR中文：本文认为，将上下文学习（ICL）扩展至终身设置是 AI Agent 持续学习的实用方案；要在固定硬件预算下用 Transformer 理解终身上下文，需要注意力的参数化形式。
• 来源文件：
• /inbox/tom/_candidates/2026-06-25-agent-rag-longcontext-candidates.json
• [S2 enrich]
• [OpenAlex backfill]