仓库攻略

RAGSurvey 是一个按体系分类的 RAG 论文Awesome 列表，对应论文 RetrievalAugmented Generation for AIGenerated Content: A Survey（arXiv:2402.19473，2024 年 2 月，北大/北大深圳研究生院团队）。仓库按该论文提出的三层分类法，对 RAG 领域论文进行结构化整…

Crawl4AI 是 GitHub Star 数最多的开源网页爬虫（75,960 ★，数据截至 20260817），专为将网页转化为 LLM 可直接消费的 Markdown 而设计。相比传统爬虫输出 HTML 碎片，Crawl4AI 输出结构清晰、噪音少、带引用标注的 Markdown，特别适合 RAG pipeline、Agent 数据摄取和大规模数据采集…

CodeGraphRAG 是一个面向多语言代码库的 AI 问答与编辑系统。它用 Treesitter 解析源码，构建代码结构知识图谱存入 Memgraph，再用自然语言驱动 Cypher 查询，实现代码问答、编辑和优化。整个流程对用户屏蔽了图数据库细节——只需一条 CLI 命令，就能把一个陌生仓库变成可对话的智能体。 核心思路：把代码当知识图谱来索引，而不是…

FlashRAG 是中国人民大学 NLPIR 实验室开源的 RAG（检索增强生成）研究 Python 工具包，已被 WWW 2025 Resource Track 接收。 核心理念：RAG 研究门槛高——需要分别找数据集、实现各算法、搭评估流程，碎片化严重。FlashRAG 提供一站式解决方案：36 个预处理基准数据集 + 23 个 SOTA RAG 算法（…

OpenKnowledge（内部包名 @inkeep/openknowledge）是一个 AI 原生的 Markdown 编辑器，同时也是一个 LLM Wiki 工具。它的定位是"Notion meets VS Code"——既有 Notion 般的 WYSIWYG（所见即所得）编辑体验，又保留 VS Code 式的本地文件夹操作和 Markdown 文件本…

llmtwincourse 是 Decoding AI Magazine（Paul Iusztin & Alex Vesa 团队）开源的免费工程课，目标是从零搭建一个能"模仿你写作风格"的生产级 LLM Twin —— 一套完整的端到端 LLM + RAG 系统，覆盖数据采集、CDC 同步、实时特征工程、SFT 微调、RAG 推理、Prompt 监控全部 6…

Context7 是由 Upstash 团队（推 Redis / Vector / QStash 的那家）开源并维护的「MCP 文档服务」。它把 GitHub 上常见开源库的 README、官方文档、版本说明抓取、解析、切片成一个可被 LLM 检索的索引，然后通过 Model Context Protocol（MCP）暴露给 Cursor、Claude Co…

Kotaemon 是一个开源的 RAG 文档问答 UI 工具，专注于为文档提供「聊天式问答」体验。它的目标是同时服务两类用户： 核心特点：干净的界面 + 混合检索 + 强引用展示 + 多模态文档支持。 有大量技术文档/论文/合同，想基于这些文档向 AI 提问 需要 AI 的回答有明确的文档来源引用，不能胡编 需要处理包含图表、表格、LaTeX 公式的复杂 P…

FastGPT 是一个基于大语言模型的知识库问答与应用编排平台，提供完整的开箱即用能力：数据处理、RAG 检索、可视化 AI 工作流编排，让用户无需深度配置即可快速开发和部署复杂的问答系统。 它的核心定位是：企业级 RAG 应用平台，强调知识库管理与可视化流程编排的结合。相比单纯的知识库工具，FastGPT 多了工作流编排和 Agent 编排能力；相比纯 A…

RAG_Techniques 是一个专注于 RetrievalAugmented Generation（检索增强生成） 高级技术的开源教程仓库，由 Nir Diamant 维护。目前收录 42+ 个可运行的 Jupyter Notebook，覆盖从基础 RAG 到最新前沿技术的完整知识体系，每个技术都配有详细原理解析、代码实现和论文引用。截至 2026 年 …

Vane 是一个注重隐私的 AI 问答引擎，运行在你自己的硬件上。它结合了互联网搜索结果和本地 LLM（通过 Ollama）、云端模型（OpenAI、Claude、Gemini、Groq），给出带引用来源的精准答案，所有搜索记录完全本地保存。 类比来说，Vane 是一个可私有部署的 Perplexity，强调： 不把搜索数据交给第三方 支持本地模型（Olla…

Pathway llmapp 是一套开箱即用的 RAG（检索增强生成）与 AI 流水线云模板集合。它基于 Pathway Live Data Framework，核心解决"数据源实时变化 → RAG 系统如何及时感知并更新索引"这个问题。与传统 VectorDB（如 Pinecone、Milvus）需要独立 ETL 管道不同，Pathway 在内存中直接处理…

LLMEngineersHandbook 是 Packt 出版社配套 GitHub 仓库，支撑一本同名实战书籍（Amazon/ Packt 有售）。与其说是"仓库"，不如说是一套完整的 LLM 工程最佳实践参考实现：覆盖数据采集、LLM 训练、RAG 搭建、AWS 生产部署、监控和评测全链路，配有可直接运行的 Python 代码和 ZenML 流水线。 解决…

GraphRAG 是微软研究院开源的模块化图结构 RAG 系统，旨在解决传统向量 RAG 无法处理的"全数据集级别的推理问题"。 传统 RAG 靠向量相似度检索，擅长"找相似片段"，但对"这本小说里最核心的主题是什么"这类需要全局理解的问题力不从心——因为答案分散在大量段落中，向量召回永远只能覆盖局部。 GraphRAG 的核心思路：先用 LLM 将文档内容…

Firecrawl 是一个面向 AI 的网页数据 API：给定 URL，爬取并转换为 LLM 可直接使用的干净 Markdown、JSON 或截图。它能处理 JavaScript 渲染的动态页面、反爬虫机制、代理轮换等"脏活"，开发者只需调用 API 或装好 SDK 即可。开源，也可以直接用其托管服务（firecrawl.dev）。Stars 147k，周增…

PageIndex 是一个无向量、基于推理的 RAG（检索增强生成）引擎，由 Vectify AI 开发。其核心理念是：传统向量 RAG 依赖"语义相似度"做检索，但这不等于"真正相关"——尤其在金融报告、法律文书、医疗文献等高度专业化的长文档场景，"相似"和"相关"的差距尤为明显。 PageIndex 模拟人类阅读长文档的方式——先看目录，再顺着结构找答案…

txtai 是由 NeuML 维护的一个一体化 AI 框架，核心理念是把语义搜索、LLM 编排和工作流三大能力整合在同一个 Python 包里。 其核心组件是 Embeddings 数据库——本质上是一个融合了稀疏向量索引、密集向量索引、图网络和关系数据库的统一检索层。这使得 txtai 既能做传统向量检索，也能做 SQL 查询、主题建模、图分析。 架构图：…

RAGFlow 是 InfiniFlow 出品的开源 RAG（检索增强生成）引擎，主打"深度文档理解 + 融合上下文引擎"，将 RAG 与 Agent 能力结合，让大模型拥有可解释、可控的私有知识库。 核心理念：高质量输入才有高质量输出——RAGFlow 花大量精力在文档解析和切片质量上，而不是简单地把文档切成固定块塞进向量数据库。它支持可视化切片、智能重排…

ScrapeGraphAI 是一个基于 LLM 的 Python 爬虫库，用自然语言描述你想提取什么，它就能自动搞定——无需写 CSS 选择器、XPath，也无需分析网页结构。它背后的设计逻辑是把网页 scraping 当作一个有向图（Graph）来执行：LLM 作为图节点之间的"路由器"，决定如何遍历页面、提取什么数据。 简单说：你告诉它要什么，它用 LL…

LightRAG 是香港大学数据科学实验室（HKUDS）发布的轻量级知识图谱增强检索框架，发表在 EMNLP 2025。它采用双层（向量 + 知识图谱）架构，兼顾检索的全面性与语义深度，是 Microsoft GraphRAG 的高效替代方案。 核心思想：在索引阶段利用 LLM 从文档中提取实体和关系，构建知识图谱（KG），同时保留向量嵌入；查询时通过 lo…