LMCache 是一个KV Cache 管理中间件层，专为 LLM 推理场景设计。它的核心思路是把 GPU VRAM 中转瞬即逝的 KV Cache 变成可持久化、可复用、可监控的 AI 原生存储，从而显著降低 TTFT（Time To First Token，首 token 延迟），提升多轮对话和 Agentic Workload 的吞吐量。 典型工作场景…
仓库攻略
118 篇 · 117 个项目 · jay · RAG 检索增强
Khoj 是一个开源的个人 AI 助手（自称 "Your AI second brain"），核心功能是让你用自己的文档（PDF、Markdown、Notion、Word、orgmode 等）创建一个可对话的知识库，同时支持连接任意 LLM（本地 Ollama 或云端 GPT/Claude/Gemini/DeepSeek）。它可以部署在个人电脑上完全离线运行…
agenticawesomeskills 是一个可安装的 AI 编程助手 Skill 库，收录 1,946+ 个可复用的 SKILL.md 工作流剧本，支持 Claude Code、Cursor、Codex CLI、Autohand Code、Gemini CLI、Antigravity、Kiro、OpenCode、GitHub Copilot 等主流 AI…
内容待复核
aishwaryanr/awesome-generative-ai-guide · 上手攻略
这是一个由 Aishwarya Naresh Reganti（AWS ML 专家）维护的 Generative AI 综合性学习资源库。它的定位不是某个工具或框架的使用指南，而是一站式 AI 学习路径导航——涵盖大语言模型基础、提示工程、微调、RAG、Agent 开发、模型评估、面试准备、免费课程、论文精读，以及一系列成体系的学习路线图（Roadmap）。 …
Onyx 是 LLM 的应用层——一个功能丰富的开源 AI 平台，支持自托管。它让团队通过 RAG（检索增强生成）、深度研究、自定义 Agent、代码执行、Web 搜索、MCP 等高级能力，把 LLM 接入真实工作流。 核心定位：企业级 AI 平台（类 ChatGPT + RAG + Deep Research + Agents），可一键部署，适合需要数据隐…
Kotaemon 是一个开源的 RAG 文档问答 UI 工具，专注于为文档提供「聊天式问答」体验。它的目标是同时服务两类用户： 核心特点：干净的界面 + 混合检索 + 强引用展示 + 多模态文档支持。 有大量技术文档/论文/合同，想基于这些文档向 AI 提问 需要 AI 的回答有明确的文档来源引用，不能胡编 需要处理包含图表、表格、LaTeX 公式的复杂 P…
FastGPT 是一个基于大语言模型的知识库问答与应用编排平台，提供完整的开箱即用能力：数据处理、RAG 检索、可视化 AI 工作流编排，让用户无需深度配置即可快速开发和部署复杂的问答系统。 它的核心定位是：企业级 RAG 应用平台，强调知识库管理与可视化流程编排的结合。相比单纯的知识库工具，FastGPT 多了工作流编排和 Agent 编排能力；相比纯 A…
MindsDB/mindshub（品牌名：Minds Cowork）是一个通用 AI 工作平台，旨在让 AI 替代人类完成需要读写、思考、多步骤的办公任务——报告生成、监控分析、定时任务、应用构建——并把结果直接变成可发布的 Web 应用。与传统 AI 聊天工具不同，它是任务级 AI 代理，支持连接真实数据源、多模型路由、跨会话记忆和可复用 Skill 库。…
atomicagents 是一个以"原子化"为设计哲学的轻量级模块化 Agent 框架，基于 Instructor 和 Pydantic 构建。所有 Agent 组件（Agent、Tool、Context Provider）均为单一职责、可复用、可组合的"原子"单元，通过标准化的输入/输出 Schema 将它们像乐高积木一样拼装成完整 AI 应用，MIT 许…
SIE（Superlinked Inference Engine）是一个开源推理服务器，在一个统一的 HTTP API 下集成 85+ 预配置模型，覆盖 Embedding 编码、语义重排序、文档转 Markdown（OCR/解析）、结构化信息抽取、内容安全审核和大模型生成五大任务。它替代了过去"每个任务配一个模型服务器"的碎片化架构，让 Agent 开发者…
llmengineertoolkit 是一个精心整理的 LLM 工具库清单，按功能分类收录了 120+ 个开源 Python 库，涵盖从模型训练、微调、推理、服务化，到 RAG、Agent、数据提取、评测、安全等完整流程的所有环节。 它的定位是"LLM 全栈工程师的工具箱目录"——不是教你某个库怎么用，而是告诉你做某件事有哪些成熟工具可以选择，让你在立项时快…
RAG_Techniques 是一个专注于 RetrievalAugmented Generation（检索增强生成） 高级技术的开源教程仓库，由 Nir Diamant 维护。目前收录 42+ 个可运行的 Jupyter Notebook，覆盖从基础 RAG 到最新前沿技术的完整知识体系，每个技术都配有详细原理解析、代码实现和论文引用。截至 2026 年 …
InkOS 是一个面向故事创作与多语言翻译的 AI Agent 系统（当前版本 1.7.0），应用于小说、剧本、互动影游、开放世界和 IP 内容创作。它由多个专业 Agent 协同完成创作，支持 Studio（网页可视化）、TUI（全屏终端）和 CLI 三种交互形态。 核心定位：让 AI Agent 真正理解创作意图，通过规划 → 写作 → 审稿 → 修订的…
MLflow 是全球规模最大的开源 AI 工程平台，服务于 agents、LLM 和传统 ML 模型的全生命周期。每月下载量超过 6000 万次，数千家企业将其用于生产级 AI 部署。 在 2026 年的 MLflow 3.x 版本中，它已演化为真正统一的平台，同时覆盖传统 ML、深度学习和生成式 AI 应用。核心四大能力： Prompt Registry（…
LTX2 是 Lightricks 开源的视频生成模型（当前版本 LTX2.3，22B 参数，2026 年 3 月 5 日发布），基于 DiT（Diffusion Transformer）架构。它是 2026 年视频生成领域里唯一同时具备以下三个特性的开源模型： 同步音视频生成（4K 视频 + 音频，一次扩散过程完成） 原生 4K 50fps 输出 完整开源…
Graphify 是一个让 AI 编程助手（Claude Code、Cursor、Codex 等）把任意代码仓库转化为可查询知识图谱的工具。本质是一个 Claude Code / AI Coding Agent 的 /graphify 技能（Skill）：输入 /graphify .，它便将项目代码、文档、图片、视频全部映射为一张节点边图谱，之后你可以用自然…
Memori 是面向 AI Agent 的记忆基础设施（Agentnative Memory Infrastructure）。它的核心定位是：解决 AI Agent「每次对话从零开始」的根本痛点——让 Agent 不仅记得「说过什么」，更记得「做过什么」，并能将执行过程中的决策、工具调用、结果都结构化地持久化，以便下次调用时精准召回。 与简单的向量数据库检索…
Vane 是一个注重隐私的 AI 问答引擎，运行在你自己的硬件上。它结合了互联网搜索结果和本地 LLM（通过 Ollama）、云端模型（OpenAI、Claude、Gemini、Groq），给出带引用来源的精准答案，所有搜索记录完全本地保存。 类比来说，Vane 是一个可私有部署的 Perplexity，强调： 不把搜索数据交给第三方 支持本地模型（Olla…
Mooncake 是月之暗面（Moonshot AI）为旗下 Kimi 大模型服务开发的生产级 LLM Serving 平台，核心创新是 KVCache 中心化的 PrefillDecode 分离架构（PD 分离），将 LLM 推理的预填充（Prefill）和解码（Decode）阶段拆分到不同集群，并通过利用 GPU 集群中闲置的 CPU DRAM 和 SS…
Xinference（Xorbits Inference）是 xorbitsai 团队开源的统一推理服务平台，一行代码替换 GPT 为任意开源 LLM。它让你在本地、云端或笔记本上运行开源语言模型、语音模型和多模态模型，通过统一的 OpenAI 兼容 API 提供服务。 Xinference 的核心差异化在于：支持最多的推理引擎（vLLM、SGLang、ll…
DeepSpeed 是微软开源的深度学习优化库，专为大规模分布式训练和推理而设计。它让训练千亿、万亿参数模型不再是巨头的专利，普通研究团队也能在有限硬件上跑起来。 DeepSpeed 的核心创新是 ZeRO（Zero Redundancy Optimizer） 系列技术，通过分片优化器状态、梯度、参数，大幅降低单 GPU 显存占用。此外还支持 3D 并行（数…
Graphify 是一款面向 AI 编程助手的代码知识图谱生成工具（code knowledge graph generator）。它的核心思路是：将任意代码仓库（Python、JavaScript、SQL、R、Shell 等）的代码结构转换为一张可查询的知识图谱，替代传统的 grep/全文搜索方式，让 AI 助手可以直接"问问题"获取精准的代码上下文。 形…
Composio 是一个 AI Agent 工具集成平台，为 AI Agent 提供 1000+ 预认证工具包（Toolkit），覆盖 GitHub、Gmail、Slack、Linear、Notion、Salesforce 等主流 SaaS。它解决的问题是：让 Agent 不只是"聊天"，而是真正"执行操作"——创建 issue、发送邮件、管理日历、查询数据…
Lore 是 Epic Games 开源的新一代版本控制系统，由 Epic Games 的工程师团队开发（Rust 语言，MIT 许可证）。它脱胎于 Epic 内部工具 Unreal Revision Control——曾是《Fortnite》 UEFN（Unreal Editor for Fortnite）创作工具的内置版本控制。2026 年 6 月，Ep…
NirDiamant/GenAI_Agents 是一个 GenAI Agent 教程与实现集合，由 AI 教育博主 Nir Diamant 维护，当前收录 50+ 教程，覆盖从最简单的对话机器人到复杂多 Agent 系统的全谱系。每一个教程都是一个独立的 Jupyter Notebook，包含完整代码、逐步解释和可直接运行的示例。 这不是一个框架，而是一个学…
Vercel AI SDK（ai）是 Vercel 官方推出的 TypeScript AI 开发工具包，旨在让开发者用最少的代码在 React、Next.js、Svelte、Vue、Angular、Node.js 等框架和运行时中构建 AI 应用和 Agent。核心定位是"AI 应用的统一 API 层"——换模型提供商只需改两行代码，无需重写业务逻辑。 当前…
MemPalace 是一个本地优先的 AI 记忆系统，核心卖点是：原文逐字存储（不摘要、不压缩）、可插拔向量后端、96.6% R@5（LongMemEval 基准）以及完全零 API 调用。数据永远留存在本机，通过语义搜索而非总结来召回历史上下文。 它的组织模型借用了"记忆宫殿"的隐喻： 官方文档： | PyPI：mempalace ⚠️ 防骗警告：MemP…
Morphic 是一个带有生成式 UI 的 AI 驱动搜索引擎。用户输入查询，它调用 AI 搜索多源内容，实时流式返回带引用来源的答案，答案中的内容块（图片、网格、标题）以结构化组件实时渲染，而非普通 Markdown 文本。 核心特点：Grounded answers with cited sources + Generative UI（生成式界面）。 1…
xLLM 是由京东零售团队开发、现托管于 OpenAtom 基金会的高性能 LLM 推理引擎。它不是面向普通用户的 AI 产品，而是给企业级部署场景用的底层 Infra 工具——目标是让大模型的推理在特定 AI 加速器上跑得更快、更划算。 支持的模型类型不只有 LLM，还包括： LLM（大语言模型） VLM（视觉语言模型） DiT（扩散Transformer…
JeecgBoot 是一款企业级 AI 低代码平台，基于 Java（Spring Boot 2/3）和 Vue3，核心理念是"低代码 + AI"双轮驱动——用低代码提升 CRUD 开发效率，用 AI 降低使用门槛。 核心定位： 面向企业内部的 MIS/OA/ERP 系统快速构建； 最新稳定版：3.8.3（20251009），基于 SpringBoot 2；S…