StarlightSearch/EmbedAnything 是一个用 Rust 构建的高性能、多模态 embedding 管道。它支持从文本、图片、音频、PDF、网站等多种来源生成向量嵌入，并与 Milvus、Weaviate、Elastic、SingleStore 等主流向量数据库无缝对接，核心卖点是零 PyTorch 依赖、低内存占用、流式索引，已在 E…
仓库攻略
17 篇 · 17 个项目 · LLM 基础设施 · 数据与向量库
MetaMCP 是一个 MCP（Model Context Protocol）代理基础设施，集 MCP 服务器聚合（Aggregator）、编排（Orchestrator）、中间件（Middleware）、网关（Gateway）于一个 Docker 容器。它的核心定位是：让你不必逐个管理多个 MCP 服务器，而是把它们聚合成一个统一端点，再对外暴露。 技术本…
LLM Gateway 是一个开源的 LLM API 网关，作为应用层与多个 LLM 提供商之间的中间件，提供统一的 API 接口。开发者只需集成一次网关，后续可自由切换/混用 OpenAI、Anthropic、Google Vertex AI 等多种模型，无需逐一对接每个提供商的 SDK 和认证体系。 同时，它内置了用量追踪、成本分析和性能监控功能，让团队…
Bionic GPT 是一个自托管（onpremise）的 ChatGPT 替代品，定位企业内部的私有生成式 AI 平台。它用 Rust 写了一个高性能 Web Server，把 RAG、文档解析、模型路由、鉴权、审计、可观测性这些通常要自己拼装的"内部 ChatGPT 必备件"打包成一个可直接落到 Kubernetes 上的完整栈。 它不是单一服务，而是按…
opencodex 是一个轻量级本地代理服务，它的核心职责是把 OpenAI Codex 的 Responses API 请求"翻译"成任意 LLM 提供商能理解的协议，并在请求路径上支持 ChatGPT 账户池化管理。装好之后，你在 Codex CLI/App/SDK 或 Claude Code 里选什么模型，实际上都在走 opencodex 转发到 An…
AwesomeLLMOps 是由 tensorchord 团队维护的 GitHub 精选列表（Awesome List），收录了 LLMOps（Large Language Model Operations）领域的优质工具、项目和资源。截至 2026 年 7 月已累计 5879 Stars，周增 +7，是目前最活跃的 LLMOps 专题列表之一。 LLMOp…
内容待复核
PlexPt/awesome-chatgpt-prompts-zh · 上手攻略
awesomechatgptpromptszh（ChatGPT 中文调教指南）是一个开源的中文 Prompt 收藏仓库，由作者 PlexPt 从 2023 年初开始维护。它收集了数百个精炼的中文提示词模板，涵盖学术写作、翻译、代码、面试、生活娱乐等数十个场景，用户将提示词粘贴进 ChatGPT 即可获得高质量输出。 本质上是场景化 Prompt 最佳实践的精…
OpenLLMetry（发音「openLLmetry」）是基于 OpenTelemetry 的开源 LLM 应用可观测性工具，由 Y Combinator 支持的 Traceloop 公司开发和维护（Apache 2.0 许可）。 它的核心思路：用 OpenTelemetry 标准采集 LLM 应用的全链路追踪数据，无需更换你现有的可观测性基础设施（Data…
Onyx 是 LLM 的应用层——一个功能丰富的开源 AI 平台，支持自托管。它让团队通过 RAG（检索增强生成）、深度研究、自定义 Agent、代码执行、Web 搜索、MCP 等高级能力，把 LLM 接入真实工作流。 核心定位：企业级 AI 平台（类 ChatGPT + RAG + Deep Research + Agents），可一键部署，适合需要数据隐…
微软官方出品的 21 节生成式 AI 入门课程，覆盖从 LLM 基础理论到 AI Agent 开发完整路径。每节包含讲解视频（YouTube）+ 文字课程 + Python/TypeScript 双语言代码示例，并配套 50+ 语言的社区翻译。Stars 约 112k，是微软 GitHub 最受欢迎的教育类仓库之一。 课程默认使用 Azure OpenAI …
Rig 是用 Rust 构建模块化、可扩展 LLM 应用的库。它提供了一套统一抽象，覆盖 20+ 大模型提供商、10+ 向量数据库，并内置 Agent 编排、RAG、工具调用、多轮对话等能力，全部用 Rust 的类型安全和并发性能加持。 解决什么问题： 在 Rust 生态里，之前缺乏一个统一、好用的 LLM 应用抽象层。开发者要么自己封装各个 Provide…
One API 是一个开源的 LLM API 管理与分发系统，用统一的 OpenAI API 格式暴露所有主流大模型接口，支持 API Key 管理、负载均衡、令牌配额控制、用户权限管理和二次分发。 通俗来说：你在 One API 后台配置好各渠道（OpenAI、Claude、Gemini、DeepSeek 等）的 API Key，对外只暴露一个 API 地…
f/prompts.chat 原名 Awesome ChatGPT Prompts，是 GitHub 上最早（2022 年 12 月）也是规模最大的开源提示词（Prompt）集合库。官方自称「世界最大的开源提示词库」，已获 143k+ GitHub Stars，曾被 GitHub 官方精选（Staff Pick），被哈佛、哥伦比亚等高校引用，学术引用超 40…
LiteLLM 是一个统一调用 100+ 大模型 API 的 Python 库 + AI Gateway（代理服务器），用 OpenAI 格式作为统一接口，抹平各 provider（OpenAI、Anthropic、Gemini、Bedrock、Azure、HuggingFace、VLLM、NVIDIA NIM 等）的 API 差异，同时提供成本追踪、虚拟 …
newapi 是一个统一 AI 模型网关，核心功能是把来自不同供应商的 LLM（OpenAI、Claude、Gemini、DeepSeek 等）聚合到一个入口，通过格式转换（Format Bridge）让它们互相兼容，并以统一 API 暴露给下游应用。 简单类比：AI 领域的 Nginx + 多路复用代理，支持渠道加权随机调度、自动失败重试、Token 级权…
Sub2API 是一个存在明确服务条款风险的开源项目。仓库 README 开篇即写明： "使用本项目可能违反 Anthropic 等上游服务商的服务条款。请仔细阅读相关服务商的用户协议，所有风险由用户自行承担。" 在部署和使用前，请充分评估法律风险。 本攻略仅做技术说明，不构成使用建议。 Sub2API 是一个自托管 AI API 网关，用于将 AI 产品订…
Open WebUI 是一个可扩展、功能丰富、用户友好的自托管 AI 交互界面。它的核心目标是让你完全离线运行自己的 AI 界面，同时支持连接任意 OpenAI API 兼容的模型（包括本地 Ollama、私有化部署的 vLLM、LM Studio 等）。 用一张图来理解它的位置： 用户浏览器 ←→ Open WebUI ←→ Ollama / OpenAI…