Mintplex-Labs/anything-llm · 上手攻略

  • 仓库：Mintplex-Labs/anything-llm
  • 链接：https://github.com/Mintplex-Labs/anything-llm
  • 分类：agent · rag
  • 作者：Tom
  • 更新：2026-07-07

这是什么

AnythingLLM 是一个本地优先的 All-in-One AI 应用平台，用 MIT 许可证开源（JavaScript），Stars 62,686，周增 +322，已达生产就绪级别。它让用户无需重复"租用 AI 智能"——在自己的服务器或电脑上，连接任意 LLM（本地或云端），管理知识库、操作 AI Agent、构建自动化工作流。

核心定位：私有化部署的 ChatGPT 替代方案，零配置开箱即用，支持多用户、文档 RAG、自定义 Agent、可嵌入聊天组件、MCP 兼容，以及完整的开发者 API。

官网：https://anythingllm.com | 文档：https://docs.anythingllm.com

解决什么问题

RAG（检索增强生成）系统通常需要拼凑多个开源组件（向量数据库、LLM API、Embedding 模型、前端），搭建和维护成本很高。AnythingLLM 把这一切打包成一个完整产品：

  • 不想把敏感文档发给 OpenAI/Claude：用本地 LLM + 本地向量数据库，完全私有
  • 需要多人协作的知识库：内置多用户支持和权限系统
  • 想给网站加 AI 聊天机器人：提供 embeddable widget，无需订阅第三方服务
  • 需要 AI Agent 自动执行任务：内置 Agent builder + 定时任务调度

快速安装

方式一：Docker（推荐，最简单）

# 克隆仓库
git clone https://github.com/Mintplex-Labs/anything-llm.git
cd anything-llm

# 启动所有服务（前端+后端+向量数据库）
docker compose up -d

# 访问 http://localhost:3000

方式二：桌面应用（个人使用）

直接下载对应平台的安装包（Mac/Windows/Linux）： - 下载地址：https://anythingllm.com/download

桌面版适合不想折腾命令行的用户，功能与 Docker 版基本一致（部分功能如多用户仅 Docker 版支持）。

方式三：pm2 部署（服务器长期运行）

git clone https://github.com/Mintplex-Labs/anything-llm.git
cd anything-llm
npm install
npm run build
pm2 start "npm start" --name anything-llm

核心用法

1. 配置 LLM 提供商

首次启动后，在设置中配置 LLM。有三类选项：

本地模型（推荐有独显的用户）：

# 使用 Ollama（需先安装）
# 设置 → LLM Provider → Ollama
# 模型示例：llama3, mistral, codellama

# 使用 LM Studio
# 设置 → LLM Provider → LM Studio
# URL：http://localhost:1234/v1

云端模型：

# OpenAI
# 设置 → LLM Provider → OpenAI
# API Key: sk-xxxx  # 不写入本文档，请从官网获取

# Anthropic
# 设置 → LLM Provider → Anthropic
# API Key: sk-ant-xxxx

# Azure OpenAI
# 设置 → LLM Provider → Azure OpenAI

AnythingLLM 支持 40+ LLM 提供商，包括：OpenAI、Anthropic、Azure OpenAI、AWS Bedrock、Google Gemini、DeepSeek、Mistral、Groq、Cohere、Ollama、LM Studio、LocalAI 等。

2. 上传文档构建知识库

AnythingLLM 支持多种文档格式（PDF、TXT、DOCX、Markdown 等）：

# 在应用界面中：
# 1. 创建 Workspace（工作区）
# 2. 拖拽或上传文档到该 Workspace
# 3. 文档自动分块、向量化
# 4. 开始对话，AI 会基于上传的文档回答

文档会以引用（source citation）形式标注回答依据，支持溯源。

3. 使用 AI Agent

AnythingLLM 内置 Agent 系统，可执行更复杂的任务：

# 内置 Agent 功能：
# - 网页浏览（Agent 可搜索并阅读网页）
# - 文件操作
# - 自定义工具调用
# - MCP 工具接入

# 在 Workspace 中开启 Agent 模式后，可执行：
"帮我浏览 X 公司的最新财报并总结要点"

4. No-code Agent Flow Builder

在设置 → Agent Flows 中，用可视化界面配置自动化任务：

# 配置示例：
# 触发条件：每天早上9点
# 执行：搜索竞品动态 → 总结 → 发送到 Slack

5. 定时任务（Scheduled Jobs）

# 设置 → Scheduled Jobs → 新建任务
# 配置 cron 表达式，任务以完整 Agent 能力执行
# 例如：每周一自动更新行业报告摘要

6. 多用户与权限管理（仅 Docker 版）

# Docker 版支持：
# - 用户组管理
# - Workspace 级权限控制
# - API Key 认证

7. 嵌入网页聊天组件

# 在你的网站上嵌入 AnythingLLM 聊天窗口
# 设置 → Embed Config → 获取 embed 代码

# 支持自定义样式和对话范围

8. 开发者 API

AnythingLLM 提供完整 REST API：

# 创建向量工作区
curl -X POST http://localhost:3001/api/v1/workspace \
  -H "Authorization: Bearer <API_KEY>" \
  -d '{"name": "my-workspace"}'

# 上传文档
curl -X POST http://localhost:3001/api/v1/upload \
  -H "Authorization: Bearer <API_KEY>"

支持的向量数据库

数据库 说明
LanceDB 默认内置，无需额外部署
PGVector 需要自建 PostgreSQL
Astra DB 云端 Cassandra 兼容
Chroma 轻量级向量数据库
Pinecone 云端向量数据库
Qdrant 自托管或云端
Weaviate 自托管或云端

典型适用场景

强烈推荐： - 企业知识库：上传内部文档，员工用自然语言查询，AI 基于内部资料回答 - 隐私敏感场景：医疗、法律、金融等不能把数据发给第三方 LLM 的行业 - 多用户协作：需要团队成员各自工作区、权限隔离 - AI Agent 开发：用可视化工具构建自动化工作流，不需要写代码

不太适合： - 超大规模文档集（百万级）——此时需要专业 RAG 系统而非开箱即用产品 - 完全没有技术背景且不愿使用 Docker 的用户（桌面版功能略有阉割）

坑与注意

  1. 多用户功能仅 Docker 版：桌面版是单用户设计，如需多用户支持必须用 Docker 部署。

  2. Embedding 模型选择影响质量：默认使用 AnythingLLM Native Embedder，效果中规中矩。如追求更好效果，可切换到 OpenAI Embeddings 或 Cohere（需要 API Key）。

  3. 文档分块策略：大文档会被自动分块，分块大小和重叠度会影响检索质量。在 Workspace 设置中可以调整（Chunk Size、Chunk Overflow）。

  4. Ollama 本地模型速度：没有独显的情况下，使用 Ollama 跑 7B 以上模型会非常慢。建议至少 8GB 显存或使用量化模型（Q4_K_M 等）。

  5. 定时任务和 Agent 需要 Pro 版：部分高级功能在托管版（anythingllm.com）中需要订阅，开源版本身包含这些功能的使用权，但部分 UI 引导可能指向托管服务。

  6. MCP 兼容性：AnythingLLM 支持 MCP（Model Context Protocol），可接入官方 MCP 服务器生态，使用前请确认 MCP 服务器版本兼容性。

  7. 桌面版和 Docker 版功能差异：嵌入式 widget 和部分 Agent 功能仅 Docker 版提供，下载前建议先确认需要的功能。

与同类对比

项目 许可证 语言 侧重点 多用户
AnythingLLM MIT JavaScript All-in-One RAG+Agent ✅ Docker版
LangFlow Apache-2.0 Python 可视化 RAG 流程编排 ✅
Flowise Apache-2.0 JavaScript 低代码 LLM 流程 ✅
Dify Apache-2.0 Python 应用编排平台 ✅
OpenWebUI Apache-2.0 Python 本地 ChatGPT 界面 ✅

AnythingLLM 的优势在于开箱即用的完整性和极低的配置门槛——LangFlow/Flowise 更偏向流程编排，Dify 更偏向应用层，而 AnythingLLM 更接近"拿来就用"的知识库产品。

一句话推荐结论

AnythingLLM 是目前最省心的私有化 AI 知识库方案——一条 docker compose up 就能得到完整的文档问答、多用户管理和 AI Agent 能力，适合不想折腾基础设施、只想快速把内部文档变成可对话知识库的技术团队。唯一的门槛是：多用户场景需要用 Docker 部署。

来源：GitHub README (https://github.com/Mintplex-Labs/anything-llm)、docs.anythingllm.com、README 完整支持的 LLM/Embedding/向量库列表