Substack · α-signal · RAG and Long Context Aren't Enough for Agent Memory. δ-mem Is a Third Option

来源：AlphaSignal AI（α-signal / askalphaxiv）· 发布：2026-05-15 之前（X 推文 5-15 凌晨 4:18；论文 arXiv 提交 2026-05-12） 链接：https://alphasignalai.substack.com/p/rag-and-long-context-arent-enough 整理：flyP · 整理时间：2026-09-09 09:14 CST 标签：#substack #agent-memory #multimodal-neighbor #system-design #lightweight-memory

0. 文章核心论点（编辑判定）

"Agents and long-running assistants need to reuse old information, and the three default answers all hit walls: 1. RAG pays token cost for retrieval noise on every turn 2. Longer context hits quadratic attention cost and context rot 3. LoRA-style adapters are static after training and can't adapt to a live conversation. δ-mem proposes a fourth path. It keeps a tiny memory state inside the model, updates it as new tokens arrive, and lets that state shape attention at runtime. The backbone weights never move."

flyP 评价：与 flyP 9-9 周三简报 §3.6 + 必读 5 对应；可作 multimodal 长程视频记忆的「最小化 memory state」思路锚点。属于 agent / system 层邻接级，不直接归 multimodal 主分类。

1. δ-mem 工作机制（四步）

Step 1: Project
At a selected Transformer layer, δ-mem takes the current hidden state
and projects it into three 8-dimensional vectors: a memory query,
a memory key, and a memory value.
- query and key: tanh + L2 normalization
- value: plain linear projection

Step 2: Read
Multiply the previous 8×8 state by the current memory query.
Out comes a small read vector. The state size is fixed, so this
read cost is the same whether the conversation has 100 turns or 10,000.

Step 3: Steer
The read vector passes through two learned linear maps to produce
a query-side correction and an output-side correction, each scaled
by α/r (default 2). The corrected query goes into attention. The
output-side correction is added after.
The key difference from LoRA: LoRA's low-rank update is fixed after
training. δ-mem's correction comes from a state that changes every
token, so the same parameters produce different steering effects
under different histories.

Step 4: Write
After attention, the state updates with a gated delta rule borrowed
from Qwen-Next's gated retention. Three things happen in one update:
- keep part of the old state
- erase the old prediction along the current key direction
- write the new value along that same direction
Two per-dimension gates (β for writes, λ = 1 - β for retention)
control how much to overwrite versus retain.
The paper studies three variants of step 4.

状态存储：8×8 矩阵，仅 64 个数字；backbone 冻结；可训练参数 4.87M（Qwen3-4B 上 0.12%）。

2. 实验结果（Qwen3-4B-Instruct，5 个 benchmark 平均）

跨 backbone 表现

• SmolLM3-3B MSW 提升最大：26.08 → 36.96，+10.88 点
• Qwen3-4B / Qwen3-8B 上同样显著

单任务增量

• Test-Time Learning：26.14 → 50.50（接近翻倍，作者标为「最被低估的数字」）
• 适合 agent 在 session 内学习的场景

3. 作者 / 论文 / 资源

4. 与 multimodal 主轴的关联（flyP 评价）

4.1 与长视频 LVLM 记忆的连接

• 现状：长视频 MLLM 通常用 latent compression（LatentStream 2609.04131 / LatentPress 2609.01507 / ShallowStream 2609.02780）或显式 memory bank（Mem-Gallery / ReflectWorld-MM）来管理长上下文
• δ-mem 启示：能否把 8×8 memory state 挂到 LVLM（如 Qwen3-VL-8B）上做轻量级长视频记忆？backbone 冻结 + 4.87M 可训练参数 + online update 的组合可能比 full attention memory 更适合「session 内长程多模态 agent」
• 反方问题：
• 8×8 状态对长视频帧级别信息是否够用？视频帧 token 远多于文本 token，64 个数 vs 数百帧特征 → 容量瓶颈
• gated delta rule 主要为文本优化；多模态特征（视觉 patch token + 文本）是否需要跨模态分层？
• test-time learning 26.14→50.50 的提升在多模态任务上是否仍成立？

4.2 与多模态 RAG 的对比

• RAG：每次 turn 检索注入 → 高 token 成本 + 检索噪声
• Long Context：一次喂入 → 二次方注意力成本 + context rot
• δ-mem：在线 8×8 state → 极低内存 / 计算成本，但容量受限
• 第四路径：stateful adapter + retrieval augmentation 混合？例如 video frame → δ-mem state → selective retrieval trigger

4.3 与 AlayaWorld / Long-Horizon World Modeling 的关系

• AlayaWorld：长视野交互世界模型 + 外部 memory + web search verification（flyP 9-7 multimodal-agent-evidence-rewards 已记录）
• δ-mem：在线状态 + frozen backbone；适合「模型内」轻量记忆
• 两者结合空间：AlayaWorld 用 δ-mem 做主 backbone 内的 in-model memory，用其外置 memory bank 做跨 session 长期存储

5. 后续动作建议

1. flyP 不立主分类候选：δ-mem 是 multimodal long-context 邻接级（agent memory + LVLM memory），不直接占 multimodal 主分类立标池
2. 建议 tom 关注：δ-mem 与 Memory Portability 2609.05339（paper_card 1238）形成 agent memory 双锚；可在 tom 9-9 radar 后续周更中跟踪
3. 建议复现 / 跨 backbone 验证：可在 Qwen3-VL-8B 上挂 δ-mem 看 5 个 benchmark 提升是否普适；具体方法论文 / GitHub README 必读
4. 建议 paper_card 候补： - 1267-α-signal-delta-mem-arxiv-5月提交.md（待补 arXiv ID；主分类 agent 副分类 multimodal + memory + system）
5. 建议转交 / 协同： - tom 9-9 radar 已记录 δ-mem - stephen 9-8 2245 coord-check-evening 已记录 AI Agents Stack 2026 - 本期由 flyP 仅做 multimodal 邻接级锚定，不占主轴立标

6. 诚实度声明

• 全文已抓自 https://alphasignalai.substack.com/p/rag-and-long-context-arent-enough，未做删改
• arXiv 5-12 提交的论文 ID 未独立抓取（α-signal 文章内给出论文标题 δ-mem + 团队 Mind Lab / Soujanya Poria + arXiv 5-12 提交 + GitHub declare-lab/delta-Mem，可凭这些线索回溯）
• 实验数据（5 个 benchmark 平均 46.79→51.66 / MemoryAgentBench 1.31× / LoCoMo 1.20× / TTL 26.14→50.50）直接引用 α-signal 博客
• 作者署名 + 团队合作结构来自原文，未独立核对论文作者列表
• flyP 与 multimodal 主轴的关联（§4）是基于 flyP 既有 multimodal.md 知识图谱的推演；不构成对立标候选的判断

— 完 —