MindPipe 是一个统一的 LLM/VLM 模型压缩评估框架，用单一 main.py CLI 驱动 11 种量化方法、7 种剪枝方法、压缩微调联合流程，以及 PPL / lmevalharness 零样本 / VLMEvalKit 多模态三类评估。核心设计理念是：一次配置，全流程可复现。 ⚠️ 注意：本仓库同时支持 NVIDIA GPU 和华为昇腾 NP…
仓库攻略
18 篇 · 18 个项目 · LLM 基础设施 · tom · 评测基准
GPT4All 是由 Nomic AI 开发的开源本地大模型运行工具，核心目标是让任何人在不需要 GPU、不需要 API key、不需要云服务的情况下，在自己的电脑（笔记本、台式机）上跑大语言模型（LLM）。 本质上是基于 llama.cpp 的工程封装，提供三件套： 桌面应用（GPT4All Desktop）：图形界面聊天，支持 LocalDocs（本地文…
MaxText 是 Google AIHypercomputer 团队开源的高性能、高可扩展 LLM 训练与后训练库，全部用纯 Python/JAX 编写，目标是 TPU 和 NVIDIA GPU 上的高效分布式训练与微调。官方于 20250915 发布 PyPI 包，当前稳定版本 0.2.3（2026 年初）。 MaxText 的定位是"LLM 项目发射台…
封神榜（FengshenbangLM） 是 IDEA 研究院认知计算与自然语言研究中心（CCNL）主导的中文大模型开源体系，2021 年 11 月由沈向洋在 IDEA 大会上正式发布。定位是"中文认知智能的基础设施"，旗下包含 6 大模型系列，覆盖从语言理解到多模态生成的完整 NLP 任务。 三个子项目协同工作： Fengshenbang Model：预训练…
NVIDIA/GenerativeAIExamples 是 NVIDIA 官方的生成式 AI 参考工作流仓库，针对加速基础设施（GPU/NIM 微服务）做了深度优化，涵盖 RAG 管道、Agentic 工作流、知识图谱、视觉 NIM 工作流、Data Flywheel 完整闭环等场景。当前最新 release 为 v0.8.x（2025 年），目录结构已完成…
OptiLLM 是一个OpenAI API 兼容的推理优化代理（inference proxy），通过在推理时（inferencetime）应用 20+ 种推理优化技术，在不需要任何训练或微调的情况下，将 LLM 在数学、代码、逻辑推理任务上的准确率提升 210 倍。 它的核心思路是：在现有 API 调用层加一层代理，对请求进行后处理（优化推理路径），再转发…
TurboFieldfare 是一个用 Swift 6.2 + Metal 4 从零手写的 Gemma 4 26BA4B 推理运行时，专为 Apple Silicon Mac 设计。它的核心目标只有一个：让 8 GB 内存的 M 系列 MacBook Air 也能跑 Gemma 4 26B 大模型。 Gemma 4 26B 是一个 MoE（Mixtureof…
uzu 是 Mirai Labs 用 Rust 从头编写的高性能 AI 推理引擎（v0.5.12 · 20260608），目标是让 AI 模型直接运行在你的应用中——零延迟、完整数据隐私、无推理费用。 它不是又一个 REST API 封装，而是一个真正把模型跑在本地的推理运行时。核心用 Rust 编写保证了性能和安全性，同时提供 Python / TypeS…
Open Model Zoo 是 Intel 维护的预训练深度学习模型仓库，为 OpenVINO™ Toolkit 提供大量已优化模型和演示程序。包含 200+ 模型，覆盖目标检测、图像分类、图像分割、姿态估计、语音识别、文本转语音等主流 CV 任务，并配有可直接运行的 C++ / Python Demo 示例。 模型分为两大类： Intel 预训练模型（m…
AwesomeLLMOps 是由 tensorchord 团队维护的 GitHub 精选列表（Awesome List），收录了 LLMOps（Large Language Model Operations）领域的优质工具、项目和资源。截至 2026 年 7 月已累计 5879 Stars，周增 +7，是目前最活跃的 LLMOps 专题列表之一。 LLMOp…
ymcui/ChineseLLaMAAlpaca 是最早一批将 Meta LLaMA 模型中文化并开源的重量级项目。它的核心工作是两件事： 1. 中文词表扩充——原版 LLaMA 词表偏英文，中文编码效率极低（一个汉字 = 多个 subword），该项目将中文词表扩充至约 5 万 token，显著提升中文处理效率 2. 指令精调（Alpaca）——在扩充词表…
MOSS（MultiOmni Scale System）是复旦大学开源的工具增强型对话语言模型，具有 160 亿参数（16B），支持中英双语、多轮对话，以及插件调用能力（搜索、文生图、计算器、解方程）。 该项目开源内容包括： 本质上，这是一个可以调用工具的中文 ChatGPT 风格模型，可以在本地私有部署，参数规模比 GPT4 小但远大于早期开源 7B 模型…
ncnn 是腾讯开源的高性能神经网络推理框架，专门针对移动端、嵌入式设备和桌面端场景优化。它的核心特点是无第三方运行时依赖（pure C++ 实现）、支持 CPU 和 Vulkan GPU 双后端，可将 PyTorch / ONNX 模型直接部署到手机、PC、浏览器或边缘设备上。 腾讯内部已大规模落地：QQ、Qzone、微信、天天 P 图等产品均在用。 最新…
OpenLLMetry（发音「openLLmetry」）是基于 OpenTelemetry 的开源 LLM 应用可观测性工具，由 Y Combinator 支持的 Traceloop 公司开发和维护（Apache 2.0 许可）。 它的核心思路：用 OpenTelemetry 标准采集 LLM 应用的全链路追踪数据，无需更换你现有的可观测性基础设施（Data…
ZML（Z Machine Learning）是一个生产级 AI 推理技术栈，旨在将任意模型部署到任意硬件加速器上，零妥协。 它基于 Zig 语言、MLIR 编译框架和 Bazel 构建系统实现，支持 NVIDIA CUDA、AMD RoCM、Intel OneAPI、Google TPU、AWS Trainium/Inferentia 2 等多种加速器后端…
PowerInfer 是由上海交大 IPADS 实验室开源的高速 LLM 推理引擎，专为单张消费级 GPU（RTX 4090 等）本地部署设计。其核心技术是利用 LLM 推理中神经元激活的幂律分布特性——少数"热神经元"（hot neurons）在几乎所有输入中都被激活，而大多数"冷神经元"（cold neurons）则随输入变化。 基于这一洞察，Power…
SGLang 是一个高性能大语言模型（及多模态模型）推理 serving 框架，由 LMSYS 组织开发维护（Apache2.0 许可证）。它的核心定位是 vLLM 的直接竞争对手，在多项 benchmark 上展示出更高的吞吐量和更低的延迟。SGLang 底层基于 PyTorch，支持 RadixAttention（前缀缓存）、连续批处理（continuo…
vLLM 是一个高吞吐量、内存高效的 LLM 推理与服务引擎，最初由 UC Berkeley Sky Computing Lab 开发，现已成长为全球最活跃的开源 AI 基础设施项目之一，拥有来自 2000+ 贡献者的社区支持。 核心突破是 PagedAttention 技术——受操作系统虚拟内存分页启发，将 KV Cache 切分成小块动态管理，显著减少显…