MODSetter/SurfSense · 上手攻略

• 仓库：MODSetter/SurfSense
• 链接：https://github.com/MODSetter/SurfSense
• 分类：ai
• 作者：Jay
• 更新：2026-07-14

一、是什么

SurfSense 是开源的竞争情报（Competitive Intelligence）平台，专为 AI Agent 设计，可以理解为「面向 AI Agent 的 NotebookLM + 实时数据抓取」。

它让 AI Agent 能够实时抓取 Reddit、YouTube、Instagram、TikTok、Google Maps、Google Search 等平台的数据，并通过 REST API 或 MCP 服务器的方式暴露给 Claude、Cursor、OpenClaw 等 AI 工具使用。配合内置的知识库、工作流自动化和定时任务，SurfSense 把竞争情报收集这件事从人工操作变成 Agent 自动执行。

二、解决什么问题

当前 AI Agent 在做竞争情报研究时有几个核心痛点：

1. 实时数据缺口 —— AI Agent 靠训练数据，无法获取最新的市场动态、用户评论、价格变动
2. 平台 API 限制多 —— 官方 API 有速率限制、定价高、覆盖不全（尤其是 Reddit、TikTok 等）
3. 缺乏结构化数据 —— 直接爬网页容易碰到反爬、JS 渲染，数据质量差
4. 工作流割裂 —— 数据收集→整理→报告需要多个工具串联

SurfSense 的解法是：提供 平台原生连接器（每个平台一个 REST 端点，返回结构化 JSON） + MCP 服务器（让 Agent 把这些连接器当原生工具调用）+ 自动化工作流（定时/事件触发，把数据变成情报报告）。

三、快速安装

自托管（Docker，一行命令）

Linux / macOS：

curl -fsSL https://raw.githubusercontent.com/MODSetter/SurfSense/main/docker/scripts/install.sh | bash

Windows（PowerShell）：

irm https://raw.githubusercontent.com/MODSetter/SurfSense/main/docker/scripts/install.ps1 | iex

⚠️ 前提：需要先安装并运行 Docker Desktop。

安装脚本会自动配置 Watchtower，实现每日自动更新。如需跳过，加 --no-watchwatch（原文 --no-watchtower，疑为文档笔误，实际请以官方文档为准）。

云端版本（最简方式）

直接访问 surfsense.com，注册后获得 $5 免费额度，无需任何安装。

四、核心用法

4.1 MCP 服务器接入（最推荐）

把 SurfSense MCP 服务器接入 Claude / Cursor / OpenClaw 等 AI 工具：

{
  "mcpServers": {
    "surfsense": {
      "url": "https://mcp.surfsense.com/mcp",
      "headers": { "Authorization": "Bearer ${SURFSENSE_API_KEY}" }
    }
  }
}

配置后，Agent 可以直接调用 surfsense_reddit_scrape、surfsense_google_search、surfsense_youtube_scrape 等原生工具，完整工具列表见 SurfSense MCP 服务器文档。

4.2 REST API 直接调用

以 Reddit 为例：

curl -X POST "$SURFSENSE_API_URL/workspaces/$WORKSPACE_ID/scrapers/reddit/scrape" \
  -H "Authorization: Bearer $SURFSENSE_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "search_queries": ["your brand"],
    "community": "webscraping",
    "sort": "top",
    "time_filter": "week"
  }'

Python 调用示例：

import requests

url = f"{SURFSENSE_API_URL}/workspaces/{WORKSPACE_ID}/scrapers/reddit/scrape"
headers = {
    "Authorization": f"Bearer {SURFSENSE_API_KEY}",
    "Content-Type": "application/json"
}
payload = {
    "search_queries": ["your brand"],
    "community": "webscraping",
    "sort": "top",
    "time_filter": "week"
}

response = requests.post(url, headers=headers, json=payload)
data = response.json()
print(data)

4.3 自动化工作流示例

在 SurfSense 平台中用自然语言描述即可创建自动化：

"每周一监控我们前3个竞争对手的定价页面，发现变动时 Slack 告警"

"每日汇总 Reddit 和 YouTube 上关于我们品牌的讨论，发摘要到 Slack"

"每月生成一份竞品分析报告，保存到 Notion"

五、核心连接器一览

💡 所有连接器均按实际返回数据量计费，失败请求不计费。自托管版本可关闭计费。

六、典型适用场景

场景 1：竞品动态追踪

让 Agent 每天抓取竞品官网、Product Hunt、Reddit 讨论，汇总成一份「竞品动态简报」。

场景 2：品牌舆情监控

监控 Reddit、YouTube、TikTok 上用户对品牌/产品的讨论，追踪情感趋势，识别危机信号。

场景 3：关键词排名追踪

追踪 Google Search 中核心关键词的排名和 AI Overview 引用情况，发现 SEO 机会。

场景 4：定价情报

提取竞品定价页面，构建价格矩阵表，每日检查变动并告警。

场景 5：本地商家线索

用 Google Maps 按类别+地区批量获取商家信息（电话、网站、评分），用于销售线索。

场景 6：AI Agent 深度研究

给 AI Agent 接入 SurfSense MCP，让它在做竞争分析时能实时抓取真实市场数据，输出有来源保障的研报。

七、坑与注意

1. 自托管需要 GPU/CPU 资源 —— Agent 运行和 LLM 推理需要本地 GPU 或云端 API key。
2. 数据合规 —— 抓取第三方平台数据请遵守各平台的服务条款，不要用于商业数据贩卖。
3. 计费透明 —— 云端按量计费（每个 connector 按返回条目计），自托管无此限制。
4. MCP 接入需 API Key —— 需要在 surfsense.com 注册获取 key，或使用自托管版本。
5. 部分平台反爬 —— 虽然 SurfSense 尽力绕过反爬机制，但无法保证 100% 成功率，尤其在 TikTok 和 Instagram 上。
6. 版本迭代快 —— 该项目活跃，MCP 工具列表和 API 端点可能随版本变化，请以官方文档为准。

八、与同类对比

结论：如果你需要在 AI Agent 工作流中嵌入实时市场数据，SurfSense 是目前开源领域最顺滑的选择。

九、一句话推荐结论

需要让 AI Agent 拥有「实时看市场」的能力？SurfSense 就是你要的桥梁——多平台连接器 + MCP 原生集成 + 自托管免费，闭眼入。

注：API 端点、计费详情、MCP 工具列表请以 surfsense.com 官方文档为准；部分平台抓取能力受平台政策影响，可能随时间变化。