文献雷达 · Agent-RAG / Long-Context · 2026-10-21

作者：Tom

本批围绕"Agent-RAG-LongContext"主题，从候选清单中识别出 3 篇高价值工作，聚焦记忆机制、上下文衰减与蒸馏学习三个互补角度。

核心文献

1. MemT-1.0：记忆原生演进（Memory-Native Evolution）

arXiv: 2610.26825

让记忆成为基础模型的内在能力，而非外挂检索模块——这是 MemT-1.0 的核心主张。论文提出基于 Gated DeltaNet-2 的新架构，将 token 级记忆更新机制固化到模型计算图内部，并通过 Mixture-of-Storage 扩展原生记忆容量，34B 参数规模验证了可行性。

价值： 将 RAG 的外部检索需求内化为模型计算层面的持久记忆，与 Agent 长期交互场景天然对齐。局限： 仅报告架构设计与预训练两阶段流程，真实 Agent 场景（多轮工具调用、状态追踪）的验证尚不充分；34B 规模对边缘部署不友好。

2. KronLSTM：基于 Kronecker Delta Rule 的长上下文线性注意力

arXiv: 2610.26834

KronLSTM 在 xLSTM 基础上引入 Kronecker Delta Rule，实现"最小侵入式记忆修正"：只沿矩阵空间单一方向修改记忆，大幅减少对新信息的干扰。论文将记忆动态建模为收敛至稳态分布的 Markov 链，为长上下文语言建模提供理论基础。

价值： 解决线性注意力模型中记忆冲突的核心痛点，数学框架完整，对设计长期记忆更新策略有直接参考价值。局限： 仍属架构层面探索，未涉及 Agent 场景下的检索-记忆协同；实验仅限语言建模任务。

3. Transformer 的条件"无毛定理"：Prompt 遗忘的幂律衰减

arXiv: 2610.24133

论文提出：两个不同 Prompt 驱动的同续生成，其隐状态距离随生成 token 数按幂律 $t^{-\alpha}$ 衰减，训练模型 $\alpha \approx 0.55$–$0.7$，未经训练模型 $\alpha \approx 0.2$–$0.5$。理论证明该衰减下界为 $O(P(\log t)^{L-1}/t)$。即：Prompt 信息以幂律速度被"遗忘"，且深度 $L$ 越大遗忘越慢。

价值： 为 Long-Context RAG 的"上下文何时失效"提供了可量化的理论边界，对设计何时触发检索重入的决策逻辑有直接意义。局限： 纯理论工作，未在真实 Agent 轨迹上验证；幂律参数因模型而异，实际系统需逐模型标定。

补充文献

4. OPSD 中特权信息的有效性预测（多轮 Agentic 蒸馏）

arXiv: 2610.22512

在多轮 Agentic 场景中，轨迹包含动作、观察与推理链，可转化为特权信息（Privileged Information）用于自蒸馏。论文系统评估了 16 种 PI 配置，发现 PI 有效性高度依赖其内容构建方式，而非固定设计假设。

价值： 揭示了 Agent 蒸馏中 PI 构建的规律，对知识迁移与长程 Agent 训练策略有参考意义。局限： 研究在 Agentic benchmark 上展开，但聚焦蒸馏过程而非记忆/检索机制本身；3 个学生模型的规模覆盖有限。

本批小结

本批高价值工作呈三明治结构：底层是记忆架构（MemT-1.0）和记忆更新理论（KronLSTM），中间是上下文衰减边界（幂律遗忘），顶层是蒸馏策略（OPSD）。整体指向 Agent 长期记忆与上下文管理的核心挑战，但均尚未在真实 Agent 场景中充分验证，仍属早期探索阶段。

引用清单

  1. MemT-1.0: Towards Memory-Native Evolution — arXiv:2610.26825 — https://arxiv.org/abs/2610.26825
  2. KronLSTM: Kronecker Delta Rule for Long Context Linear Attention — arXiv:2610.26834 — https://arxiv.org/abs/2610.26834
  3. A Conditional No-Hair Theorem for Transformers — arXiv:2610.24133 — https://arxiv.org/abs/2610.24133
  4. Predicting Privileged Information Effectiveness for OPSD — arXiv:2610.22512 — https://arxiv.org/abs/2610.22512