dshroutingsuite 是一个聚合套装，由两个独立维护的组件构成，专门解决「DSH 运行时缺乏任务感知思维模式路由」的问题。它不是一个独立的 AI Agent，而是 DSH（DeepSeek Host）生态的运行时增强层。 核心组成： | 组件 | 仓库 | 版本 | 职能 | ||||| | injector/ | dshsuperinjector…
仓库攻略
20 篇 · 20 个项目 · LLM 基础设施 · tom · Agent 智能体
freebuffproxy 是一个本地网关，把 FreeBuff/Codebuff 的免费 AI 编程模型（deepseekv4flash 等）以 OpenAI 兼容接口（/v1/chat/completions）暴露给任意工具——OpenCode、pi、9router、LiteLLM 或自己的脚本。 它的核心价值是"翻译 + 池化 + 隐匿"： FreeB…
PromptEngineeringGuideChinese（Prompt 工程师指南中文版）是由 wangxuqi 维护的中文翻译项目，翻译自 DAIR.AI 的英文原版 dairai/PromptEngineeringGuide（Stars 77.3k+）。原版是目前最全面、最活跃的 Prompt 工程开源教程，涵盖从基础概念到高级技巧的完整知识体系。 本…
MetaMCP 是一个 MCP（Model Context Protocol）代理基础设施，集 MCP 服务器聚合（Aggregator）、编排（Orchestrator）、中间件（Middleware）、网关（Gateway）于一个 Docker 容器。它的核心定位是：让你不必逐个管理多个 MCP 服务器，而是把它们聚合成一个统一端点，再对外暴露。 技术本…
DecryptPrompt 是一个大模型提示词/Agent/RAG/LLM 全栈知识图谱，收录 Prompt 论文、开源模型、推理框架、SFT/RLHF 数据集、AIGC 应用案例等多个维度的资源。更重要的是，作者维护了一个持续更新的"解密Prompt"系列博客（65+ 篇），每篇包含论文串讲+代码实现，覆盖从 Prompt Tuning 到 RLHF、Ag…
NVIDIA/GenerativeAIExamples 是 NVIDIA 官方的生成式 AI 参考工作流仓库，针对加速基础设施（GPU/NIM 微服务）做了深度优化，涵盖 RAG 管道、Agentic 工作流、知识图谱、视觉 NIM 工作流、Data Flywheel 完整闭环等场景。当前最新 release 为 v0.8.x（2025 年），目录结构已完成…
OptiLLM 是一个OpenAI API 兼容的推理优化代理（inference proxy），通过在推理时（inferencetime）应用 20+ 种推理优化技术，在不需要任何训练或微调的情况下，将 LLM 在数学、代码、逻辑推理任务上的准确率提升 210 倍。 它的核心思路是：在现有 API 调用层加一层代理，对请求进行后处理（优化推理路径），再转发…
9Router 是一个本地智能路由器，串联在你常用的 AI 编码 CLI 工具（如 Claude Code、Codex、Cursor、Cline、Copilot、OpenClaw 等）与各路 LLM API 提供商之间。它解决的核心问题是：订阅浪费、速率限制、格式不兼容、手动切换。 架构上，它是一个跑在本地的 HTTP 代理服务（默认 localhost:2…
envoyproxy/aigateway 是 Envoy 生态下的 AI 网关项目，基于 Envoy Gateway 扩展，专门处理应用客户端到生成式 AI（GenAI）服务的流量。它的本质是一个 Kubernetes 原生的 LLM 流量管理平面，提供路由、认证、限流、弹性Failover等企业级能力。 Envoy 是 CNCF 旗下久经生产验证的代理，M…
anyllm 是 Mozilla AI 团队推出的 Python 库，目标是让你用同一套代码调用任何 LLM 提供商，无需改业务逻辑。 它的核心理念很清晰：LLM 提供商的 API 接口碎片化严重——OpenAI、Anthropic、Azure、Mistral、Ollama……各家参数名、响应格式、错误处理各有差异。anyllm 不重新造轮子，而是封装官方 …
RapidMLX 是目前 Apple Silicon 上速度最快的本地 AI 推理引擎，专为 M 系列芯片优化，基于 Apple MLX 框架重写所有核心 kernel，纯 Metal GPU 加速，无任何 llama.cpp 回退或 Python 桥接层。相比同场景的 Ollama，吞吐量提升约 4.2 倍，首 token 时间（TTFT）可低至 0.08…
MOSS（MultiOmni Scale System）是复旦大学开源的工具增强型对话语言模型，具有 160 亿参数（16B），支持中英双语、多轮对话，以及插件调用能力（搜索、文生图、计算器、解方程）。 该项目开源内容包括： 本质上，这是一个可以调用工具的中文 ChatGPT 风格模型，可以在本地私有部署，参数规模比 GPT4 小但远大于早期开源 7B 模型…
OpenLLMetry（发音「openLLmetry」）是基于 OpenTelemetry 的开源 LLM 应用可观测性工具，由 Y Combinator 支持的 Traceloop 公司开发和维护（Apache 2.0 许可）。 它的核心思路：用 OpenTelemetry 标准采集 LLM 应用的全链路追踪数据，无需更换你现有的可观测性基础设施（Data…
Dyad 是一个本地运行、开源免费的 AI 应用构建工具（v0 / Lovable / Replit / Bolt 的开源替代）。用户通过自然语言描述需求，Dyad 自动生成完整的全栈应用代码，全程在本地机器运行，不依赖云端平台，不锁死生态，代码完全属于你自己。 支持 macOS 和 Windows，下载即可使用，无需注册。 1. 前往官网下载页面： 2. …
chatanywhere/GPT_API_free 是一个免费中转 API 服务，让国内用户无需科学上网即可调用 OpenAI GPT 系列、DeepSeek、Claude（Anthropic 官方协议）、Gemini、Qwen、Kimi、GLM、Minimax 等主流大模型的 API 接口。项目提供免费 API Key（每日限额），也支持付费 Key 获取…
vLLMOmni 是 vLLM 社区推出的全模式（omnimodality）推理框架，将 vLLM 的高性能 LLM 推理能力扩展到任意到任意的多模态模型——不只是理解图像/视频/音频，而是能同时生成多种模态的输出（文本+图像+视频+音频）。 支持的输出类型： 一句话概括：vLLM 在多模态生成领域的扩展，让研究者和企业能用生产级性能跑 OmniModali…
微软官方出品的 21 节生成式 AI 入门课程，覆盖从 LLM 基础理论到 AI Agent 开发完整路径。每节包含讲解视频（YouTube）+ 文字课程 + Python/TypeScript 双语言代码示例，并配套 50+ 语言的社区翻译。Stars 约 112k，是微软 GitHub 最受欢迎的教育类仓库之一。 课程默认使用 Azure OpenAI …
Rig 是用 Rust 构建模块化、可扩展 LLM 应用的库。它提供了一套统一抽象，覆盖 20+ 大模型提供商、10+ 向量数据库，并内置 Agent 编排、RAG、工具调用、多轮对话等能力，全部用 Rust 的类型安全和并发性能加持。 解决什么问题： 在 Rust 生态里，之前缺乏一个统一、好用的 LLM 应用抽象层。开发者要么自己封装各个 Provide…
SGLang 是一个高性能大语言模型（及多模态模型）推理 serving 框架，由 LMSYS 组织开发维护（Apache2.0 许可证）。它的核心定位是 vLLM 的直接竞争对手，在多项 benchmark 上展示出更高的吞吐量和更低的延迟。SGLang 底层基于 PyTorch，支持 RadixAttention（前缀缓存）、连续批处理（continuo…
LiteLLM 是一个统一调用 100+ 大模型 API 的 Python 库 + AI Gateway（代理服务器），用 OpenAI 格式作为统一接口，抹平各 provider（OpenAI、Anthropic、Gemini、Bedrock、Azure、HuggingFace、VLLM、NVIDIA NIM 等）的 API 差异，同时提供成本追踪、虚拟 …