IterSynth：角色解耦的迭代式深度搜索 Agent

  • 关联论文：2609.29444
  • 作者：Tom
  • 更新：2026-09-25

一句话结论

IterSynth 通过将搜索 Agent 的「规划者」与「综合者」角色解耦，并用 summary 作为持久状态，解决了传统 ReAct 式 Agent 的能力耦合与上下文噪声两大顽疾，8B 模型在 5 个长程深度搜索基准上平均得分 50.7，较同规模最强 baseline 提升 +4.2%。

解决什么真问题

深度搜索任务（如 BrowseComp、Xbench-DS）要求 LLM Agent 分解复杂查询、搜索证据、综合出有据可查的答案。现有 ReAct 式 Agent 面临两个根本性限制：

  1. 能力耦合（Role Coupling）：单个 policy 需同时承担规划、信息需求识别、证据使用、答案综合四种能力——一个模型同时「当裁判又当运动员」，相互干扰。
  2. 上下文积累（Context Accumulation）：搜索历史随迭代不断增长，大量中间步骤的噪声淹没有用信息，导致模型对近期关键证据的利用率下降。

这两个问题在长程多跳搜索场景中尤为严重，直接影响答案的事实正确性与完整性。

核心方法

角色解耦架构

IterSynth 将单一 Agent 拆分为两个专门角色，通过 summary 作为共享的持久状态进行通信：

Planner:
  输入: query + summary_history
  输出: next_info_need（下一步需要什么信息）

Synthesizer:
  输入: query + retrieved_evidence + summary_history
  输出: updated_summary（更新后的综合状态）

迭代终止条件: Planner 判断无需更多信息 → Synthesizer 输出最终答案

Planner 负责识别信息缺口（Information Needs），判断「还需要什么证据」；Synthesizer 负责将检索到的证据整合进一个 evolving summary state，作为整个搜索过程的持久记忆。两角色交替执行，直到 Planner 认为信息充分。

RDPO（Role-Decoupled Policy Optimization）

为有效训练这一范式，论文提出 RDPO——一种将 RL 信用分配精确到角色的方法：

RDPO 奖励 = 终端结果奖励（Terminal Outcome Reward）
           + Turn-level Rubric 评分（每轮 rubric 评估）

角色特定优势计算:
  A_role = R_total - baseline_role
  仅对对应角色的 token 计算策略梯度

关键设计：终端结果奖励提供全局学习信号，turn-level rubric 评估则提供每步细粒度反馈，两者结合后再按角色分配优势——Planner 的梯度只更新 Planner 的 token，Synthesizer 同理。这解决了联合训练时「哪个角色该为坏结果负责」的信用分配难题。

Zero-shot Prompting 泛化

IterSynth 作为一个 model-agnostic prompting 范式，可直接应用于前沿闭源模型，在 ReAct 及类似 prompting 方法上产生显著 zero-shot 增益——即无需微调，切换模型后仍可受益于该架构。

关键实验与数据

  • 基准：BrowseComp、Xbench-DS 等 5 个长程深度搜索基准
  • 主要模型：IterSynth-8B（基于 8B 参数 LLM 微调）
  • 核心结果：
  • IterSynth-8B 平均得分 50.7，较同规模最强 prior Agent（≤8B）提升 +4.2%
  • Zero-shot 泛化实验：在前沿闭源模型（GPT-4o 等）上，IterSynth prompting 相对 ReAct 有显著提升
  • 消融实验验证：Planner/Synthesizer 解耦 vs. 耦合、summary 机制 vs. 完整上下文，逐一支撑各模块贡献

⚠️ 原文具体各基准绝对分数数值未在 abstract/正文引言中完整列出，以上为 abstract 可提取数据。

亮点与局限

亮点： - 首次明确提出「搜索 Agent 中规划与综合的能力耦合」问题，并给出系统性解耦方案 - RDPO 将角色级信用分配引入 RL 训练，解决了多角色联合训练的核心难题 - 架构具备模型无关性，zero-shot prompting 泛化路径有实际部署价值

局限： - 论文目前仅在深度搜索任务（BrowseComp 类）验证，开放域问答或多跳推理泛化性待验 - 5 个基准均为英文或特定领域，多语言场景未覆盖 - RDPO 的 rubric 设计细节（如何定义「好规划」与「好综合」）原文未展开，工程复现需自行探索 - Summary 状态的信息压缩机制是否会在极端长程搜索中丢失关键细节，原文未明确讨论

对工程落地的启发

  1. 多角色 Agent 架构选型：对于复杂多跳任务，将「规划」与「执行/综合」解耦为独立 Agent 是可行方向，可参考 IterSynth 的交替迭代模式
  2. 长程记忆压缩：Evolved summary 作为持久状态比保留完整搜索历史更高效，且更易于引入向量检索
  3. RL 训练策略：多角色系统中，按角色隔离梯度更新可避免能力互相干扰，提升训练稳定性
  4. Prompting 泛化：IterSynth 作为 zero-shot prompting 范式可直接嵌入现有 RAG 系统，无需微调即可试验

与同方向工作的关系

相关工作 IterSynth 的差异
ReAct（Symantec 2023） 单角色；IterSynth 解耦为 Planner + Synthesizer 双角色
Self-Ask（Press 2023） 问答式分解；IterSynth 在搜索轨迹层面做角色解耦和 summary 持久化
IRLAS/ChatDB 等记忆增强 Agent IterSynth 的 summary 机制类似，但与角色解耦深度绑定且通过 RDPO 训练
Generative Agents（Park 2023） 通用人格模拟；IterSynth 专注于深度搜索场景，方法更专项

IterSynth 的核心贡献在于将「多角色解耦」与「RL 训练」结合，而非仅在 prompting 层面做文章。

适合谁读

  • LLM Agent 研究者：关注搜索、推理、RAG 系统的架构设计
  • RAG 系统工程师：需要处理长程多跳查询的检索增强系统设计者
  • RL + Agent 方向：对多角色信用分配、Role-Decoupled RL 训练方法感兴趣的研究者
  • Prompting/微调实践者：希望理解如何在 8B 级模型上实现 SOTA 深度搜索能力的团队

⚠️ 原文完整实验数据（各基准绝对分数、rubric 设计细节）需读正文获取，本文基于 abstract + TLDR 撰写，部分数字标注「原文未明确」。