Kotaemon 是一个开源的 RAG 文档问答 UI 工具，专注于为文档提供「聊天式问答」体验。它的目标是同时服务两类用户： 核心特点：干净的界面 + 混合检索 + 强引用展示 + 多模态文档支持。 有大量技术文档/论文/合同，想基于这些文档向 AI 提问 需要 AI 的回答有明确的文档来源引用，不能胡编 需要处理包含图表、表格、LaTeX 公式的复杂 P…
仓库攻略
419 篇 · 418 个项目 · 工程化
FastGPT 是一个基于大语言模型的知识库问答与应用编排平台，提供完整的开箱即用能力：数据处理、RAG 检索、可视化 AI 工作流编排，让用户无需深度配置即可快速开发和部署复杂的问答系统。 它的核心定位是：企业级 RAG 应用平台，强调知识库管理与可视化流程编排的结合。相比单纯的知识库工具，FastGPT 多了工作流编排和 Agent 编排能力；相比纯 A…
SIE（Superlinked Inference Engine）是一个开源推理服务器，在一个统一的 HTTP API 下集成 85+ 预配置模型，覆盖 Embedding 编码、语义重排序、文档转 Markdown（OCR/解析）、结构化信息抽取、内容安全审核和大模型生成五大任务。它替代了过去"每个任务配一个模型服务器"的碎片化架构，让 Agent 开发者…
llmengineertoolkit 是一个精心整理的 LLM 工具库清单，按功能分类收录了 120+ 个开源 Python 库，涵盖从模型训练、微调、推理、服务化，到 RAG、Agent、数据提取、评测、安全等完整流程的所有环节。 它的定位是"LLM 全栈工程师的工具箱目录"——不是教你某个库怎么用，而是告诉你做某件事有哪些成熟工具可以选择，让你在立项时快…
Helicone 是一个开源的 LLM 可观测性（Observability）与 AI 网关（AI Gateway）平台，定位是帮助 AI 工程师一站式完成模型调用监控、成本分析、流量路由、Prompt 版本管理和微调数据准备。它诞生于 Y Combinator W23 批次，GitHub Stars 已超过 5,900（数据截至 202607），是 LLM…
MLflow 是全球规模最大的开源 AI 工程平台，服务于 agents、LLM 和传统 ML 模型的全生命周期。每月下载量超过 6000 万次，数千家企业将其用于生产级 AI 部署。 在 2026 年的 MLflow 3.x 版本中，它已演化为真正统一的平台，同时覆盖传统 ML、深度学习和生成式 AI 应用。核心四大能力： Prompt Registry（…
Omnigent 是一个开源的 AI Agent 元编排框架（metaharness）：在它之上，你可以同时运行和编排 Claude Code、Codex、Cursor、OpenCode、Pi 以及自己写的自定义 Agent，无需重写任何 Agent 代码。它不是一个新 Agent，而是一个通用的 Agent 管理层——像一层胶水，把各种主流 Agent 产…
aijobsearch 是一个本地运行的 AI 求职框架，以 Claude Code 为核心引擎，把求职的全套流程自动化：搜索职位 → 评估匹配度 → 定制 CV → 写求职信 → 面试准备，全部在你自己机器上跑，数据不经过任何第三方服务器。 核心思路是"drafterreviewer"双 Agent 流水线：drafter 生成内容，reviewer 批判…
Memori 是面向 AI Agent 的记忆基础设施（Agentnative Memory Infrastructure）。它的核心定位是：解决 AI Agent「每次对话从零开始」的根本痛点——让 Agent 不仅记得「说过什么」，更记得「做过什么」，并能将执行过程中的决策、工具调用、结果都结构化地持久化，以便下次调用时精准召回。 与简单的向量数据库检索…
infinitecanvas 是一款面向 AI 创作的开源无限画布工作台。它把画布编排、AI 生图、参考图编辑、对话助手、提示词库和素材管理聚合在同一界面，用节点拖拽的方式组织创作流程，适合连续迭代视觉方案并最终导出成品。 它的核心特点：一是无限画布（多画布项目、节点拖拽缩放、连线、小地图、撤销重做），二是浏览器前台直连 OpenAI 兼容接口做 AI 生图…
PDFMathTranslate（发布名 pdf2zh）是一个保留排版的 PDF 学术论文翻译工具，能将 PDF 文档完整翻译为双语格式（原文+译文对照）或纯译文，同时保留公式、图表、目录结构、注释等复杂元素不走形。 核心特点： 支持 Google、DeepL、OpenAI、Claude、Ollama、MiniMax 等多种翻译服务 提供 CLI、GUI、D…
Haystack 是由 deepset（一家专注于 NLP 和 LLM 的德国公司）维护的开源 AI 编排框架，用于构建生产就绪的 LLM 应用。它的核心理念是"透明编排"——对检索（Retrieval）、路由（Routing）、记忆（Memory）和生成（Generation）每一步都有显式控制，开发者清楚知道数据在管道中如何流转。 简单说：Haystac…
Mooncake 是月之暗面（Moonshot AI）为旗下 Kimi 大模型服务开发的生产级 LLM Serving 平台，核心创新是 KVCache 中心化的 PrefillDecode 分离架构（PD 分离），将 LLM 推理的预填充（Prefill）和解码（Decode）阶段拆分到不同集群，并通过利用 GPU 集群中闲置的 CPU DRAM 和 SS…
Xinference（Xorbits Inference）是 xorbitsai 团队开源的统一推理服务平台，一行代码替换 GPT 为任意开源 LLM。它让你在本地、云端或笔记本上运行开源语言模型、语音模型和多模态模型，通过统一的 OpenAI 兼容 API 提供服务。 Xinference 的核心差异化在于：支持最多的推理引擎（vLLM、SGLang、ll…
ColossalAI 是 HPCAI Tech 开源的分布式深度学习训练框架，核心目标是让大模型训练更便宜、更快、更普惠。它整合了多维并行（数据并行、流水线并行、张量并行）、ZeRO 优化、异构训练、FP8 低精度等技术，支持从单卡到大规模 GPU 集群的各类场景。 ColossalAI 最著名的成就是支撑了开源视频生成项目 OpenSora 的训练——让研…
DeepSpeed 是微软开源的深度学习优化库，专为大规模分布式训练和推理而设计。它让训练千亿、万亿参数模型不再是巨头的专利，普通研究团队也能在有限硬件上跑起来。 DeepSpeed 的核心创新是 ZeRO（Zero Redundancy Optimizer） 系列技术，通过分片优化器状态、梯度、参数，大幅降低单 GPU 显存占用。此外还支持 3D 并行（数…
geminicli 是 Google 官方开源的终端 AI Agent 工具，将 Gemini 模型的能力直接带入命令行。简单说：你在终端里敲自然语言，Gemini 替你读写文件、跑 shell 命令、搜网页、执行代码。零配置，开箱即用，免费额度可观（个人 Google 账号 60 请求/分钟，1000 请求/天）。 完全开源（Apache2.0），不绑死在…
AI Engineering Hub 是一个收录了 93+ 个生产就绪 AI 项目的开源教程库，涵盖 LLM、RAG、AI Agent 的完整实战项目，每个项目都附带可运行的代码和详细说明。 它不是一个大模型或框架本身，而是一个学习路径 + 项目索引：从最基础的 OCR 识别、聊天机器人，到高级的 Agent 编排、模型微调、生产部署，全部都有按难度分类的实…
AI4Paper 是一款面向科研人员的 Zotero 插件（XPI），也是配套的网页应用（app.ai4paper.pro）。它把 AI 能力深度嵌入 Zotero 阅读器，覆盖找文献 → 读文献 → 写综述的完整科研流程。 核心理念：「让天下没有难读的 Paper，让天下没有难做的科研」。所有 AI 功能都基于真实文献（RAG），答案可溯源到原始论文，不凭…
zoteromcp 是一个基于 Model Context Protocol（MCP） 的服务端工具，将你的 Zotero 文献管理库与 Claude、ChatGPT、Cursor 等主流 AI 助手连接起来，实现「用自然语言查阅、分析、管理文献库」的能力。 核心功能包括：按标题/作者/标签检索文献、语义相似性搜索（全库概念搜索，而非关键词匹配）、PDF 标…
这是一份面向中国大陆居民的系统性美股投资科普指南，由 GitHub 用户 @zoudaoxingchen 编写并持续维护。正篇共九章，从零开始讲清楚「为什么要投美股、美股怎么开户、税务怎么处理、出金怎么安全把钱拿回来」，另附加更追踪政策与渠道变化（如 2026 年 Fiat24 关停、CARF 加密合规新规等）。 与一般「荐股」内容不同，这套指南专注于规则科…
Vibe Kanban 是一个专为编程 Agent（Claude Code、Codex、Cursor 等）设计的看板式工作流管理工具，用 Rust + TypeScript 编写。它的核心理念是：在 AI 编程时代，工程师最大的时间消耗不是写代码，而是规划任务和 review AI 输出——所以最值得优化的环节是把规划和 review 做到极致。 本质上，它…
Agno 是一个生产级的 Agent 平台框架（用 Python 编写），包含两层核心组件： 它的定位比"写一个 Agent 脚本"更高，直接帮你搭建一个多租户、多 Agent、可观测、支持 100+ 工具集成的生产平台。官方口号是"Build, run, and manage your own agent platform"。 当前版本为 Producti…
medicalresearchskills 是 AIPOCH 团队维护的一个医学研究 Agent Skill 技能库，收录 554+ 套（持续增长）经过 MedSkillAudit 评估的医学研究专项技能，兼容所有 SKILL.md 协议兼容的 AI Agent 平台（OpenClaw、Claude Code、Codex、Open Code、Hermes A…
system_prompts_leaks 是一个系统提示词泄漏文档仓库（dataset + documentation），持续追踪并公开记录主流 AI 产品和 Agent 工具的系统提示词（System Prompt / System Message）。覆盖范围包括： 每个记录通常包含完整系统提示词原文、更新日期、以及与上一版本的diff 链接。Stars …
Firecrawl 官方 MCP Server，将 Firecrawl 网页抓取和搜索能力接入所有兼容 MCP 的 AI Agent。支持 AI 通过自然语言搜索网页、提取内容、发现站点结构、自动重试和限流，还有云端和自托管两种部署方式。对于需要让 AI 实时获取网页信息的场景，这是目前最完整的开源方案之一。 支持无 Key 免密访问（限速），或带 API …
开源 LinkedIn MCP Server，让 Claude 等兼容 MCP 的 AI Agent 直接读取你的 LinkedIn 数据：个人主页、公司主页、职位信息、消息收件箱。不同于 LinkedIn 官方 API（申请困难且有严格限制），本工具通过本地浏览器会话实现，真正的数据拥有者是你自己，零门槛。 官方赞助商 Unipile 提供同款能力的云托管…
Langflow 是一款可视化 AI Workflow 构建平台，通过拖拽节点编排 LLM 应用流程，无需（或只需少量）代码即可完成 RAG、Agent、多步推理等复杂 AI 系统的搭建与测试。它既是低代码/无代码工具，也是 Python 开发框架——你可以用可视化界面快速原型，也可以直接修改任意组件的 Python 源码做深度定制。 核心特性：可视化 Fl…
微软官方出品的 21 节生成式 AI 入门课程，覆盖从 LLM 基础理论到 AI Agent 开发完整路径。每节包含讲解视频（YouTube）+ 文字课程 + Python/TypeScript 双语言代码示例，并配套 50+ 语言的社区翻译。Stars 约 112k，是微软 GitHub 最受欢迎的教育类仓库之一。 课程默认使用 Azure OpenAI …
内容待复核
binhnguyennus/awesome-scalability · 上手攻略
awesomescalability 是一个系统可扩展性、可靠性与高性能工程实践的精选阅读列表（Stars 72,310），由 binhnguyennus 维护。它的定位不同于纯面试题库——它收集的是业界顶级工程师写的原理性文章、架构决策记录和大厂 case study，是面向"真正做系统"的工程师的资源库。 与 awesomesystemdesignres…