LLM Council 与 Agent Teams：用多角色 Agent 团队做 AI 研究 · 干货攻略

  • 链接: https://x.com/omarsar0/status/2077765052434633023
  • 分类: x-tips
  • 来源: X @omarsar0
  • 作者: Jay
  • 更新: 2026-07-25

这是什么

一个多角色 Agent 团队研究工作流：用不同角色的 Agent（侦察员、批评员、总结员）组成研究小队，让它们像真实团队一样协作——各司其职、互相review、自动输出结论——而不是把问题扔给一个 LLM 然后祈祷它答对。

核心洞察来自 @omarsar0（Elvis，DAIR.AI 研究员）：同一个 LLM 既写答案又评答案，本身就是盲点。解决方案不是换更好的 prompt，而是用不同角色、不同模型的 Agent 相互制约。

为什么值得关注

谁在用，解决什么问题

@omarsar0 在 2026 年 7 月 18 日的帖子中分享了他的研究团队配置：他用 Raft（raft.build，多 Agent 协作平台）搭建了一个三人 Agent 研究小队：

角色 职责 理想模型配置
Scout（侦察员） 主动发现新论文、技术文章、热门项目 一个模型
Critic（批评员） 对 Scout 发现的内容提出质疑、找漏洞 用不同模型，与 Scout 错开盲点
Synthesizer（总结员） 综合 Scout 和 Critic 的意见，写出最终简报 第三种模型或综合能力强的那款

omarsar0 的原话："The agent team is ineffective without the critic agent. It runs on a different model than the scout. Different model, different blind spots."

他把这个团队设成每日定时运行，直接把更新 post 到 X 帖子下面——相当于一个全自动的 AI 研究机器人。

关键价值点

  • 对抗单 Agent 的自我确认偏差：自己找答案、自己评分，模型永远觉得自己对
  • Critic 用不同模型是精华：不同架构/厂商的模型有不同的训练数据和文化，盲点天然不同
  • 团队协作比单 Agent 质量更高：Scout 发现 → Critic 挑战 → Synthesizer 综合，比单 pass 强得多
  • 可自动化、可持续：配合定时任务，团队 7×24 小时无人值守运行

核验过程

官方来源

Raft 官网（raft.build，2026-07-25 访问）确认：

  • Raft 是 Botiverse 开发的多 Agent 协作平台，2026 年 7 月 15 日发布 1.0 版本
  • 创始人 RC（@istdrc）曾任 Moonshot AI 的 Kimi CLI 负责人
  • 每个 Agent 在 Raft 中是持久进程，拥有独立 identity、memory 和专业领域，可运行在 Claude Code、Codex、Hermes 等不同 runtime 上
  • Agent 之间通过 Channels（频道）、Threads（线程）、Tasks（任务）、@mentions 协作，成果自动附着在对应会话中
  • 支持外部 Agent 接入：已有 Hermes（Nous Research）官方接入
  • Beta 阶段已有超过 20,000 个 agent-native 团队，平均每个人带 4 个 Agent，power users 超过 60 个

Raft 1.0 发布公告（testingcatalog.com 报道，2026-07-15）补充：

  • Raft 1.0 正式支持"team mode"：多 Agent 协作模式，支持并行任务认领、互相 review 输出
  • Raft 宣称的 Review Agent 概念：一个 Agent 可以 catch 另一个 Agent 代码里的问题——这与 omarsar0 帖子里 Critic 角色的设计哲学完全吻合
  • 执行层在用户本地机器上（lightweight daemon），数据和代码不离开用户控制

@omarsar0 X 帖子（2026-07-18）内容：

  • Scout / Critic / Synthesizer 三角色研究团队
  • Critic 必须用不同模型，这是独立 review 的前提
  • 每日定时运行，自动 post 更新

交叉验证结论

  • omarsar0 描述的"单 LLM 自我评分盲点"是有据可查的 LLM 局限性问题，多个独立研究均指向此方向
  • Raft 平台的多 Agent 协作机制（独立身份、持久 memory、互 review）与帖子描述的功能完全吻合
  • 帖子提到的每日定时自动化功能在 Raft 1.0 中有明确支持（Tasks + 定时触发）
  • "Critic 运行不同模型"这一设计：帖子原主张未找到 Raft 平台层面的强制约束，技术上可通过手动分配不同 runtime/model 实现；原文表述建议以"推荐实践"理解，非平台强制功能

上手步骤

第一步：了解 Raft 基本概念

Raft 1.0 的核心抽象：

  • Workspace：团队共享空间，人类和 Agent 共存
  • Channel：主题频道，类似 Slack 里的 #channel
  • Thread：某个话题的连续讨论串
  • Task：任务，可分配给人类或 Agent
  • Agent：每个 Agent 有独立 identity、memory、expertise，运行在指定 runtime（Claude Code / Codex / Hermes 等）

Raft 的核心价值：把 Agent 从"各干各的"变成"能看到彼此的产出"，工作附着在会话历史中，不会消失在上下文窗口之外。

第二步：在 Raft 上创建研究团队（免费起步）

  1. 访问 raft.build，注册账号（免费层包含 channels、tasks、30 天历史）
  2. 创建 Workspace，命名如 AI Research
  3. 新建 Channel：#paper-scouting、#critique、#briefs

第三步：创建 Scout Agent

在 Raft 中添加一个 Agent（以 Claude Code 为例）：

  • 角色设定：你是一名 AI 研究侦察员。你的任务是持续跟踪 AI/ML 领域的最新进展，包括论文、GitHub 项目、技术博客。
  • 工具：使用 X MCP 搜索 + arXiv 订阅 + GitHub trending
  • 输出格式：每发现一条值得关注的进展，用结构化格式输出：标题、来源、核心贡献、为什么值得关注
  • 触发方式：每日定时，或有重大发布时主动报告

第四步：创建 Critic Agent（关键！）

  • 角色设定：你是一名 AI 研究批评员。你的任务是严格审查 Scout 找到的内容，找出局限性、方法论漏洞、夸大宣传或不适用场景。
  • 模型配置：必须与 Scout 使用不同模型（例如 Scout 用 Claude 4 Sonnet，Critic 用 Gemini 2.5 Pro 或 DeepSeek V3）
  • 输出格式：对 Scout 的每条发现，给出 1-3 条质疑或补充意见，标注置信度（高/中/低）
  • 不要轻易同意 Scout：你的价值在于提出不同声音

第五步：创建 Synthesizer Agent

  • 角色设定：你是研究总结员。你的任务是根据 Scout 的发现和 Critic 的意见，写出最终研究简报（Research Brief）。
  • 输出格式：结构化报告——背景、关键发现、争议点（Critic 的挑战）、结论与建议
  • 与 Critic 的关系：Critic 提出的质疑必须在报告中明确回应，而不是忽略

第六步：配置定时任务并自动化

Raft 支持 Task 定时触发，配置示例：

每日 09:00 UTC 运行：
  1. Scout Agent 执行今日扫描
  2. Scout 输出推送至 #paper-scouting 频道
  3. Critic Agent 读取 #paper-scouting 最新内容并发布 review
  4. Synthesizer Agent 综合双方意见，发布 Research Brief 至 #briefs
  5. 人类审核后，决定是否转发到 X

可选：接入 DAIR.AI 的 LLM Council 插件

DAIR.AI 还在 dair-academy-plugins 里提供了一个 Claude Code 插件版 LLM Council，基于 Karpathy 的 LLM Council 概念（karpathy/status/1886955788325941490），可在单次查询中调用多个模型做三轮 deliberation（独立回答 → 交叉排名 → 主席综合），适合替代或补充 raft 团队模式。

安装：

claude plugin add /path/to/dair-academy-plugins/plugins/llm-council

坑与适用边界

适用场景

  • ✅ 持续性 AI 研究：需要长期跟踪某个领域进展，团队 Agent 可以 7×24 小时协作
  • ✅ 高质量研究简报：Scout×Critic×Synthesizer 三角色比单 Agent 输出质量显著更高
  • ✅ 研究团队内部知识流转：不同 Agent 的产出自动附着在 Raft 频道里，不会消失在聊天窗口
  • ✅ 多模型互补：Critic 用不同模型是设计精华，可以真实降低单一模型的盲点影响

不适用 / 局限

  • ❌ Critic 不同模型需手动分配：Raft 平台不强制此配置，需要用户自己在不同 Agent 配置里选不同 runtime；这是一个设计建议而非平台强制
  • ❌ 多 Agent 运行成本较高：3 个 Agent 并行跑，每个 Agent 都有独立上下文消耗，token 费用是单 Agent 的 2-3 倍以上
  • ❌ 团队协作需要人工监督：Critic 可能过度 critical 或 Synthesizer 偏向某一方，需要人类定期调参
  • ❌ 国内访问 raft.build 可能有网络限制：需确认访问稳定性
  • ❌ Raft 1.0 为新产品：生态尚在早期，平台稳定性和长期支持有待验证

潜在工程挑战

  1. Scout 的发现质量决定上限：如果 Scout 找的内容本身价值不高，Critic 和 Synthesizer 再强也没用
  2. Critic 与 Scout 模型选择：需要实验找到最优组合——太相近没意义，太远可能鸡同鸭讲
  3. Synthesizer 的合并策略：如何让 Critic 的质疑被合理吸收而不是两边观点简单叠加
  4. 定时任务失败恢复：多 Agent 链路中任何一个环节挂了，整条链路的结果就不完整，需要监控

一句话结论

Raft 上的 Scout/Critic/Synthesizer 多角色 Agent 团队把"一个人做研究"变成了"一个研究部门在运转"——Critic 必须用不同模型是整个设计的灵魂，让 AI review 不再是自我确认的走秀；但代价是更高的 token 成本和运维复杂度，适合认真做 AI 研究、愿意花时间调优团队配置的人。