精读笔记 · DeLM：去中心化多智能体 + 共享上下文

1. 核心贡献

提出 Decentralized Language Models (DeLM)：以"任务队列 + 共享已验证上下文"为通信基质，替代传统中心编排器（orchestrator）。

机制拆解：

  1. 任务队列（task queue）：子任务以原子、可验证单元入队。
  2. 共享上下文（shared verified context）：所有 agent 异步读取/写入一份"已经过验证的进度"，而不是把中间结果全部回传给中心控制器。
  3. 去中心化调度：agent 自取任务 → 局部推理 → 写回压缩验证更新。后到的 agent 直接基于上一轮的 verified progress 接力。
  4. 验证门控（verification gate）：写回前需要经过验证，避免中心化 MAS 中常见的"错误聚合放大"。

实验主张：

  • SWE-bench Verified：在 Avg.@1 / Pass@2 / Pass@4 三个指标上同时取得最佳，相对最强基线最多 +10.5pp；单任务成本下降 ~50%。
  • LongBench-v2 Multi-Doc QA：跨 4 个 frontier 模型家族平均准确率最高，相对最强基线最多 +5.7pp。

一句话定位：把 multi-agent LLM 推理从"中心路由器"重构为"共享黑板 + 工作流引擎"，从而打破控制器瓶颈。

2. 方法亮点 / 可借鉴设计

  • 共享黑板 vs 中心路由器：与 AOrchestra、ChatDev、MetaGPT 等"树状/总线状"中心调度不同，DeLM 的共享上下文更像 actor-style 共享内存模型。这降低了 N 个 worker 时的通信复杂度（从 O(N) 中心扇出变成 O(1) 读写共享区）。
  • verified progress：避免"幻觉聚合"，让多 agent 的解可以像数据库事务一样增量提交。这点对 SWE-bench 这类需要可执行验证的场景尤其关键。
  • 任务队列可观测性：相比纯消息总线，队列结构天然支持 trace / 重放 / 失败回滚。
  • cost-aware：明确报告 per-task 成本下降 50%，说明 DeLM 不只是指标游戏，还对生产部署友好。

3. 主要问题 / 风险

  1. 共享上下文的写冲突与一致性：多个 agent 异步写同一份 verified context 时，如何处理竞态？论文摘要没有强调锁机制或冲突解决策略，需要在正文里看是否依赖外部 KV/数据库的 CAS。
  2. 验证器的有效性 = 上限：所有 verified progress 都依赖验证器在子任务层面是否"可判"。对 SWE-bench 这是天然成立的（测试即 oracle），但推广到开放任务（写作、对话、研究）时验证器怎么办？这是"黑板式 MAS"的通用弱点。
  3. 基线对比的公平性： - 摘要只说"最强基线 +10.5pp"，没有披露对照的是 AOrchestra / ChatDev 还是 single-agent + RAG。需要核验正文 Table。 - SWE-bench 评测对 prompt、tool、scaffolding 极其敏感，10.5pp 的差距有可能是工程层面的提示词/工具差异贡献。
  4. 长上下文场景的可扩展性：LongBench-v2 Multi-Doc QA 提升 5.7pp 说明在 128K+ 上下文下仍有效，但论文是否测试了 1M 级 token 场景？摘要未提及。
  5. 可复现性： - 项目页已开，但 260KB PDF 通常意味着 8 页正文 + 大量附录。需要确认是否放出 agent 角色 prompt、共享后端实现（Redis? RocksDB?）、验证器实现。 - SWE-bench 的 docker 执行环境、timeout、token budget 这些复现参数没有在摘要里给出。
  6. 缺乏与"worker 异质性"的讨论：摘要似乎默认所有 worker 同质。如果混合不同模型（强模型当 verifier、弱模型当 worker）会怎样？是 DeLM 的天然扩展点，但论文没说。

4. 与已有工作的关系（待补查正文）

  • AOrchestra（中心 orchestrator + 动态 sub-agent）：DeLM 的反例，论文用作对比基线之一。
  • Chain-of-Agents (CoA, NeurIPS 2024)：链式通信；DeLM 改成无序并发 + 共享黑板。
  • Graph of Agents (GoA, 2025)：动态图结构；DeLM 的"task queue"可以视为图的一种特例，但缺了图边的语义。
  • MemAgent (2507.02259)：单 agent + RL 记忆管理。DeLM 是另一种不依赖训练、长上下文解法。

5. 实验可信度

  • 可信度等级：中等偏高。
  • 依据：
  • 两个公认基准（SWE-bench Verified、LongBench-v2）都是社区接受度高的。
  • 数据点（+10.5pp、+5.7pp、-50% cost）有量级。
  • 提交到 cs.MA 类别，作者有项目页 + 代码承诺。
  • 风险点：
  • 摘要只给最大增益，不给平均/方差。
  • 没有公开 agent prompt 与工具栈，复现需要等代码 release 质量。

6. 入库建议

  • 建议：入库，归类到 notes/multi-agent/ 与 reviews/2026-Q3/。
  • 优先级：中-高。SWE-bench 改进 + 长上下文改进 + 成本下降是三重命中，且与主线（多模态/long-context/agent）正交增益。
  • 审稿权重：作为"测试时 scaling 的系统视角"案例保留，与 AOrchestra、CoA、GoA 形成对照。

7. 待补查动作

  1. 拉 PDF 第 5-8 节：实验表的全部 baseline、模型、温度、token budget、wall-clock。
  2. 确认共享后端实现（Redis? 自研 KV?）以及写冲突如何处理。
  3. 项目页代码 release 状态：是否有 Dockerfile / 一键评测脚本。
  4. SWE-bench 复现脚本是否依赖闭源模型（如 GPT-4o/Claude）。
  5. 是否测试 1M token 以上的 long context。

8. 建议写入路径

  • 主笔记：notes/multi-agent/DeLM-decentralized-shared-context.md（GitHub-ready 草稿，建议下次同步任务合并）
  • 审稿：reviews/2026-Q3/DeLM-arxiv-2606.10662.md
  • 当前实例本地草稿：本文件 /shared/research-kb/inbox/flyp/2026-07-01-DeLM-decentralized-mas-shared-context.md