ChineseLLaMAAlpaca2 是基于 Meta 开源可商用模型 Llama2 开发的中文 LLaMA2 与 Alpaca2 大模型二期项目，由 ymcui 团队维护。它在原版 Llama2 基础上重新设计了中文词表（55,296 个 token），并使用大规模中文语料进行增量预训练和指令精调，显著提升了模型的中文能力。 | 系列 | 模型 | 参数…
仓库攻略
53 篇 · 53 个项目 · LLM 基础设施 · tom
RunAnywhere 是一个端侧 AI 推理 SDK 套件，让你在 iOS、Android、Flutter、React Native 和浏览器里直接跑 LLM、VLM、语音识别（TTS/STT）和语音合成，无需联网、数据不离设备。它用同一套 API 屏蔽了各平台的底层差异：Apple 设备走 Core ML / Metal，安卓走 llama.cpp 或高…
AwesomeLLMOps 是由 tensorchord 团队维护的 GitHub 精选列表（Awesome List），收录了 LLMOps（Large Language Model Operations）领域的优质工具、项目和资源。截至 2026 年 7 月已累计 5879 Stars，周增 +7，是目前最活跃的 LLMOps 专题列表之一。 LLMOp…
ymcui/ChineseLLaMAAlpaca 是最早一批将 Meta LLaMA 模型中文化并开源的重量级项目。它的核心工作是两件事： 1. 中文词表扩充——原版 LLaMA 词表偏英文，中文编码效率极低（一个汉字 = 多个 subword），该项目将中文词表扩充至约 5 万 token，显著提升中文处理效率 2. 指令精调（Alpaca）——在扩充词表…
MOSS（MultiOmni Scale System）是复旦大学开源的工具增强型对话语言模型，具有 160 亿参数（16B），支持中英双语、多轮对话，以及插件调用能力（搜索、文生图、计算器、解方程）。 该项目开源内容包括： 本质上，这是一个可以调用工具的中文 ChatGPT 风格模型，可以在本地私有部署，参数规模比 GPT4 小但远大于早期开源 7B 模型…
Mooler0410/LLMsPracticalGuide 是一个以Survey Paper 为基础整理的LLM实践指南索引库（而非代码库）。它将大语言模型领域的论文、博客、工具按主题分类组织，帮助研究者和工程师在庞杂的文献中找到"什么场景用什么模型/方法"的最优路径。 核心资产有两块： 1. LLM 演进树（Evolutionary Tree）：一张可视化…
karpathy/llm.c 是由知名 AI 研究员 Andrej Karpathy 创建的一个开源项目，目标是用最简单、纯粹的 C/CUDA 代码实现大语言模型（LLM）训练，无需依赖 PyTorch 或 Python 运行时。 核心思想：用原始的 C 代码（~1,000 行）+ CUDA kernel，直接从零实现 GPT2 训练链路，去掉一切不必要的抽…
ncnn 是腾讯开源的高性能神经网络推理框架，专门针对移动端、嵌入式设备和桌面端场景优化。它的核心特点是无第三方运行时依赖（pure C++ 实现）、支持 CPU 和 Vulkan GPU 双后端，可将 PyTorch / ONNX 模型直接部署到手机、PC、浏览器或边缘设备上。 腾讯内部已大规模落地：QQ、Qzone、微信、天天 P 图等产品均在用。 最新…
OpenLLMetry（发音「openLLmetry」）是基于 OpenTelemetry 的开源 LLM 应用可观测性工具，由 Y Combinator 支持的 Traceloop 公司开发和维护（Apache 2.0 许可）。 它的核心思路：用 OpenTelemetry 标准采集 LLM 应用的全链路追踪数据，无需更换你现有的可观测性基础设施（Data…
Dyad 是一个本地运行、开源免费的 AI 应用构建工具（v0 / Lovable / Replit / Bolt 的开源替代）。用户通过自然语言描述需求，Dyad 自动生成完整的全栈应用代码，全程在本地机器运行，不依赖云端平台，不锁死生态，代码完全属于你自己。 支持 macOS 和 Windows，下载即可使用，无需注册。 1. 前往官网下载页面： 2. …
chatanywhere/GPT_API_free 是一个免费中转 API 服务，让国内用户无需科学上网即可调用 OpenAI GPT 系列、DeepSeek、Claude（Anthropic 官方协议）、Gemini、Qwen、Kimi、GLM、Minimax 等主流大模型的 API 接口。项目提供免费 API Key（每日限额），也支持付费 Key 获取…
vLLMOmni 是 vLLM 社区推出的全模式（omnimodality）推理框架，将 vLLM 的高性能 LLM 推理能力扩展到任意到任意的多模态模型——不只是理解图像/视频/音频，而是能同时生成多种模态的输出（文本+图像+视频+音频）。 支持的输出类型： 一句话概括：vLLM 在多模态生成领域的扩展，让研究者和企业能用生产级性能跑 OmniModali…
GPUStack 是一个开源的 GPU 集群管理器，专门面向 AI 模型服务（Model Serving）和 GPU 资源调度场景。它的核心职责是：把多个 GPU 节点组织成一个集群，自动配置 vLLM、SGLang、TensorRTLLM 等推理引擎，然后暴露一个统一的 OpenAI 兼容 API 供上层应用调用。 从定位上看，它介于底层 GPU 运维工具…
微软官方出品的 21 节生成式 AI 入门课程，覆盖从 LLM 基础理论到 AI Agent 开发完整路径。每节包含讲解视频（YouTube）+ 文字课程 + Python/TypeScript 双语言代码示例，并配套 50+ 语言的社区翻译。Stars 约 112k，是微软 GitHub 最受欢迎的教育类仓库之一。 课程默认使用 Azure OpenAI …
Rig 是用 Rust 构建模块化、可扩展 LLM 应用的库。它提供了一套统一抽象，覆盖 20+ 大模型提供商、10+ 向量数据库，并内置 Agent 编排、RAG、工具调用、多轮对话等能力，全部用 Rust 的类型安全和并发性能加持。 解决什么问题： 在 Rust 生态里，之前缺乏一个统一、好用的 LLM 应用抽象层。开发者要么自己封装各个 Provide…
vllmascend 是华为昇腾（Ascend）NPU 的官方 vLLM 硬件插件，让 vLLM 高性能推理框架能跑在昇腾芯片上。它由 vLLM 社区维护，遵循 vLLM 的硬件可插拔接口（Hardware Pluggable RFC），是昇腾后端在 vLLM 生态的推荐方案。 通俗理解：vLLM 是 LLM 推理的"操作系统"，vllmascend 就是让…
ZML（Z Machine Learning）是一个生产级 AI 推理技术栈，旨在将任意模型部署到任意硬件加速器上，零妥协。 它基于 Zig 语言、MLIR 编译框架和 Bazel 构建系统实现，支持 NVIDIA CUDA、AMD RoCM、Intel OneAPI、Google TPU、AWS Trainium/Inferentia 2 等多种加速器后端…
AirLLM 是一个开源 Python 库，实现了一种层间加载（layerwise）推理技术，让超大语言模型在显存极小的 GPU（甚至只有 4GB VRAM 的卡）上运行推理，无需量化、无需蒸馏、无需剪枝。 核心技术原理：用单层加载替代全量加载。传统推理需要把 130GB 的 70B 模型一股脑塞进显存；AirLLM 把模型按 transformer 层拆开…
PowerInfer 是由上海交大 IPADS 实验室开源的高速 LLM 推理引擎，专为单张消费级 GPU（RTX 4090 等）本地部署设计。其核心技术是利用 LLM 推理中神经元激活的幂律分布特性——少数"热神经元"（hot neurons）在几乎所有输入中都被激活，而大多数"冷神经元"（cold neurons）则随输入变化。 基于这一洞察，Power…
SGLang 是一个高性能大语言模型（及多模态模型）推理 serving 框架，由 LMSYS 组织开发维护（Apache2.0 许可证）。它的核心定位是 vLLM 的直接竞争对手，在多项 benchmark 上展示出更高的吞吐量和更低的延迟。SGLang 底层基于 PyTorch，支持 RadixAttention（前缀缓存）、连续批处理（continuo…
vLLM 是一个高吞吐量、内存高效的 LLM 推理与服务引擎，最初由 UC Berkeley Sky Computing Lab 开发，现已成长为全球最活跃的开源 AI 基础设施项目之一，拥有来自 2000+ 贡献者的社区支持。 核心突破是 PagedAttention 技术——受操作系统虚拟内存分页启发，将 KV Cache 切分成小块动态管理，显著减少显…
LiteLLM 是一个统一调用 100+ 大模型 API 的 Python 库 + AI Gateway（代理服务器），用 OpenAI 格式作为统一接口，抹平各 provider（OpenAI、Anthropic、Gemini、Bedrock、Azure、HuggingFace、VLLM、NVIDIA NIM 等）的 API 差异，同时提供成本追踪、虚拟 …
Sub2API 是一个存在明确服务条款风险的开源项目。仓库 README 开篇即写明： "使用本项目可能违反 Anthropic 等上游服务商的服务条款。请仔细阅读相关服务商的用户协议，所有风险由用户自行承担。" 在部署和使用前，请充分评估法律风险。 本攻略仅做技术说明，不构成使用建议。 Sub2API 是一个自托管 AI API 网关，用于将 AI 产品订…