tspattern 是一个 TypeScript 的穷举式模式匹配（Pattern Matching）库，由 Gabriel Vergnaud 开发，当前版本 5.9.0（2025年10月发布），npm 周下载量超过 400 万次，GitHub 星标 15k+。 它用用户态（userland）实现的方式，为 TypeScript 带来了类似 Rust、Swi…
仓库攻略
53 篇 · 53 个项目 · LLM 基础设施 · tom
h3.c 是 MiniMax H3 视频/音频生成模型的原生 Metal 推理引擎，专为 Apple Silicon 设计。由 antirez（Redis 作者）手写 C + Metal 实现，不依赖 Python 或 PyTorch，直接跑在 Mac 的 GPU 上。 H3 是 MiniMax 开源的多模态生成模型，支持文生视频、文生音频、首帧/尾帧条件化…
MindPipe 是一个统一的 LLM/VLM 模型压缩评估框架，用单一 main.py CLI 驱动 11 种量化方法、7 种剪枝方法、压缩微调联合流程，以及 PPL / lmevalharness 零样本 / VLMEvalKit 多模态三类评估。核心设计理念是：一次配置，全流程可复现。 ⚠️ 注意：本仓库同时支持 NVIDIA GPU 和华为昇腾 NP…
dshroutingsuite 是一个聚合套装，由两个独立维护的组件构成，专门解决「DSH 运行时缺乏任务感知思维模式路由」的问题。它不是一个独立的 AI Agent，而是 DSH（DeepSeek Host）生态的运行时增强层。 核心组成： | 组件 | 仓库 | 版本 | 职能 | ||||| | injector/ | dshsuperinjector…
beta9 是 Beam 公司的开源 serverless GPU 运行时引擎，为 AI 工作负载提供极速冷启动（<1 秒）的容器化部署能力。它支持 GPU 推理、沙箱隔离执行和后台任务队列，底层通过自定义容器运行时（非标准 Docker）和分布式缓存实现亚秒级冷启动。 Beam 官方提供托管云服务（beam.cloud），同时 beta9 完全开源，支持自…
Intel Neural Compressor 是 Intel 开源的模型压缩库，专注于 LLM/VLM 的低比特量化（Lowbit Quantization），覆盖 INT8、FP8、MXFP8、MXFP4、INT4、NVFP4 等多种低精度数据类型，支持 PyTorch、TensorFlow、JAX 三大框架。 其核心定位是：Intel 官方大模型推理优…
NeMo Curator 是 NVIDIA 出品的大规模多模态数据预处理与清洗工具包，专门为 LLM（及其他基础模型）预训练数据构建可复用的 GPU 加速流水线。覆盖文本、图像、视频、音频四种模态，核心能力包括：质量过滤、去重（精确/模糊/子串）、语言检测、分类、合成数据生成（SDG）。它由 RAPIDS（cuDF/cuML/cuGraph）+ Ray 驱动…
everychatgptgui 是一个持续更新的开源 AI 客户端清单，由开发者 billmei 维护，专门收集整理全球所有可对接 ChatGPT API（以及 Claude、Gemini 等主流 LLM）的图形界面客户端。仓库本身不是客户端，而是一个精选导航列表，按平台分为 Web、浏览器扩展、Obsidian 插件、桌面应用、自托管方案等大类，每个条目包…
GPT4All 是由 Nomic AI 开发的开源本地大模型运行工具，核心目标是让任何人在不需要 GPU、不需要 API key、不需要云服务的情况下，在自己的电脑（笔记本、台式机）上跑大语言模型（LLM）。 本质上是基于 llama.cpp 的工程封装，提供三件套： 桌面应用（GPT4All Desktop）：图形界面聊天，支持 LocalDocs（本地文…
llama.cpp 是一个纯 C/C++ 实现的高性能 LLM 推理框架，核心目标是在各种硬件上以最小化依赖和最优性能跑本地大模型。它基于底层的 ggml 库构建，支持 FP16 和 GGUF 量化格式，Star 122,572（无周增，长期稳定），是本地 LLM 推理领域最活跃的开源项目之一。 核心特点： 纯 C/C++ 实现，无外部依赖（除少量单文件 H…
freebuffproxy 是一个本地网关，把 FreeBuff/Codebuff 的免费 AI 编程模型（deepseekv4flash 等）以 OpenAI 兼容接口（/v1/chat/completions）暴露给任意工具——OpenCode、pi、9router、LiteLLM 或自己的脚本。 它的核心价值是"翻译 + 池化 + 隐匿"： FreeB…
MaxText 是 Google AIHypercomputer 团队开源的高性能、高可扩展 LLM 训练与后训练库，全部用纯 Python/JAX 编写，目标是 TPU 和 NVIDIA GPU 上的高效分布式训练与微调。官方于 20250915 发布 PyPI 包，当前稳定版本 0.2.3（2026 年初）。 MaxText 的定位是"LLM 项目发射台…
PromptEngineeringGuideChinese（Prompt 工程师指南中文版）是由 wangxuqi 维护的中文翻译项目，翻译自 DAIR.AI 的英文原版 dairai/PromptEngineeringGuide（Stars 77.3k+）。原版是目前最全面、最活跃的 Prompt 工程开源教程，涵盖从基础概念到高级技巧的完整知识体系。 本…
MetaMCP 是一个 MCP（Model Context Protocol）代理基础设施，集 MCP 服务器聚合（Aggregator）、编排（Orchestrator）、中间件（Middleware）、网关（Gateway）于一个 Docker 容器。它的核心定位是：让你不必逐个管理多个 MCP 服务器，而是把它们聚合成一个统一端点，再对外暴露。 技术本…
DecryptPrompt 是一个大模型提示词/Agent/RAG/LLM 全栈知识图谱，收录 Prompt 论文、开源模型、推理框架、SFT/RLHF 数据集、AIGC 应用案例等多个维度的资源。更重要的是，作者维护了一个持续更新的"解密Prompt"系列博客（65+ 篇），每篇包含论文串讲+代码实现，覆盖从 Prompt Tuning 到 RLHF、Ag…
封神榜（FengshenbangLM） 是 IDEA 研究院认知计算与自然语言研究中心（CCNL）主导的中文大模型开源体系，2021 年 11 月由沈向洋在 IDEA 大会上正式发布。定位是"中文认知智能的基础设施"，旗下包含 6 大模型系列，覆盖从语言理解到多模态生成的完整 NLP 任务。 三个子项目协同工作： Fengshenbang Model：预训练…
NVIDIA/GenerativeAIExamples 是 NVIDIA 官方的生成式 AI 参考工作流仓库，针对加速基础设施（GPU/NIM 微服务）做了深度优化，涵盖 RAG 管道、Agentic 工作流、知识图谱、视觉 NIM 工作流、Data Flywheel 完整闭环等场景。当前最新 release 为 v0.8.x（2025 年），目录结构已完成…
OptiLLM 是一个OpenAI API 兼容的推理优化代理（inference proxy），通过在推理时（inferencetime）应用 20+ 种推理优化技术，在不需要任何训练或微调的情况下，将 LLM 在数学、代码、逻辑推理任务上的准确率提升 210 倍。 它的核心思路是：在现有 API 调用层加一层代理，对请求进行后处理（优化推理路径），再转发…
kimik3inc 是一个纯 C99 编写的 Kimi K3 推理引擎，可以在只有 8 GB 内存的单 CPU 机器上运行一个 2.78 万亿参数的 MoE（MixtureofExperts）模型。整个引擎只有 176 KB，无需任何 ML 框架（无 PyTorch、无 BLAS、无 CUDA、无 GPU）。 Kimi K3 是 Moonshot AI 的旗…
9Router 是一个本地智能路由器，串联在你常用的 AI 编码 CLI 工具（如 Claude Code、Codex、Cursor、Cline、Copilot、OpenClaw 等）与各路 LLM API 提供商之间。它解决的核心问题是：订阅浪费、速率限制、格式不兼容、手动切换。 架构上，它是一个跑在本地的 HTTP 代理服务（默认 localhost:2…
TurboFieldfare 是一个用 Swift 6.2 + Metal 4 从零手写的 Gemma 4 26BA4B 推理运行时，专为 Apple Silicon Mac 设计。它的核心目标只有一个：让 8 GB 内存的 M 系列 MacBook Air 也能跑 Gemma 4 26B 大模型。 Gemma 4 26B 是一个 MoE（Mixtureof…
LLM Gateway 是一个开源的 LLM API 网关，作为应用层与多个 LLM 提供商之间的中间件，提供统一的 API 接口。开发者只需集成一次网关，后续可自由切换/混用 OpenAI、Anthropic、Google Vertex AI 等多种模型，无需逐一对接每个提供商的 SDK 和认证体系。 同时，它内置了用量追踪、成本分析和性能监控功能，让团队…
uzu 是 Mirai Labs 用 Rust 从头编写的高性能 AI 推理引擎（v0.5.12 · 20260608），目标是让 AI 模型直接运行在你的应用中——零延迟、完整数据隐私、无推理费用。 它不是又一个 REST API 封装，而是一个真正把模型跑在本地的推理运行时。核心用 Rust 编写保证了性能和安全性，同时提供 Python / TypeS…
envoyproxy/aigateway 是 Envoy 生态下的 AI 网关项目，基于 Envoy Gateway 扩展，专门处理应用客户端到生成式 AI（GenAI）服务的流量。它的本质是一个 Kubernetes 原生的 LLM 流量管理平面，提供路由、认证、限流、弹性Failover等企业级能力。 Envoy 是 CNCF 旗下久经生产验证的代理，M…
anyllm 是 Mozilla AI 团队推出的 Python 库，目标是让你用同一套代码调用任何 LLM 提供商，无需改业务逻辑。 它的核心理念很清晰：LLM 提供商的 API 接口碎片化严重——OpenAI、Anthropic、Azure、Mistral、Ollama……各家参数名、响应格式、错误处理各有差异。anyllm 不重新造轮子，而是封装官方 …
Open Model Zoo 是 Intel 维护的预训练深度学习模型仓库，为 OpenVINO™ Toolkit 提供大量已优化模型和演示程序。包含 200+ 模型，覆盖目标检测、图像分类、图像分割、姿态估计、语音识别、文本转语音等主流 CV 任务，并配有可直接运行的 C++ / Python Demo 示例。 模型分为两大类： Intel 预训练模型（m…
CTranslate2 是 OpenNMT 团队开源的 C++ / Python 高性能推理引擎，专门针对 Transformer 模型做极致优化。它通过权重量化、层融合、批处理重排序、动态内存管理等技术，在 CPU 和 GPU 上实现比原生 PyTorch / TensorFlow 快数倍、内存省几倍的推理性能。 支持三种模型架构： DecoderOnly…
opencodex 是一个轻量级本地代理服务，它的核心职责是把 OpenAI Codex 的 Responses API 请求"翻译"成任意 LLM 提供商能理解的协议，并在请求路径上支持 ChatGPT 账户池化管理。装好之后，你在 Codex CLI/App/SDK 或 Claude Code 里选什么模型，实际上都在走 opencodex 转发到 An…
RapidMLX 是目前 Apple Silicon 上速度最快的本地 AI 推理引擎，专为 M 系列芯片优化，基于 Apple MLX 框架重写所有核心 kernel，纯 Metal GPU 加速，无任何 llama.cpp 回退或 Python 桥接层。相比同场景的 Ollama，吞吐量提升约 4.2 倍，首 token 时间（TTFT）可低至 0.08…
ultralytics/yolov3 是 YOLOv3（You Only Look Once version 3）目标检测模型的 Ultralytics 官方 PyTorch 实现。原始 YOLOv3 由 Joseph Redmon 和 Ali Farhadi 在 2018 年提出（arXiv:1804.02767），Ultralytics 在此基础上添加了…