tensorchord/Awesome-LLMOps · 上手攻略
- 仓库：tensorchord/Awesome-LLMOps
- 链接：https://github.com/tensorchord/Awesome-LLMOps
- 分类：ai · llmops · awesome-list
- 作者：Tom
- 更新：2026-07-15
这是什么
Awesome-LLMOps 是由 tensorchord 团队维护的 GitHub 精选列表（Awesome List），收录了 LLMOps（Large Language Model Operations）领域的优质工具、项目和资源。截至 2026 年 7 月已累计 5879 Stars，周增 +7，是目前最活跃的 LLMOps 专题列表之一。
LLMOps 是 MLOps 的垂直细分，专注大语言模型从训练、部署、推理到监控、安全、合规的全生命周期管理。该仓库不对工具做主观排名，而是按功能维度分类整理，让开发者能快速找到对应场景的开源方案。
解决什么问题
搭建 LLM 应用时，开发者常面临「工具太多、不知道用哪个」的困境——向量数据库选什么？微调框架哪个好？推理加速有哪些方案？评测基准怎么选？Awesome-LLMOps 用一套统一分类体系，把碎片化的开源生态整理成可检索的地图。
它适合：调研选型阶段快速扫盲、项目立项时做技术选件对比、日常开发中查找特定环节的工具替代方案。
内容结构（主要分类）
| 大类 | 包含内容 |
|---|---|
| Model | 大语言模型（LLM）、CV 基础模型、音频模型、机器人模型 |
| Serving | 大模型服务化（vLLM、Text Generation Inference、OpenLLM、CTranslate2 等） |
| Security | LLM 安全框架（提示注入检测、对齐工具） |
| Observability | 可观测性（LangSmith、 Phoenix、OpenTelemetry 集成） |
| Search | 向量检索（Milvus、Pinecone、Qdrant、Chroma） |
| Code AI | 代码相关模型与工具 |
| Training | 微调框架（Axolotl、PEFT、LLaMA-Factory）、实验跟踪、可视化 |
| Data | 数据管理、存储、追踪、特征工程 |
| Deployment | ML 平台、工作流编排、调度、模型管理 |
| Performance | ML 编译器（TVM、TensorRT）、Profiling、AutoML、优化、联邦学习 |
快速安装
这不是一个需要安装的工具库，而是一个参考手册，直接浏览即可：
# 克隆到本地离线查阅
git clone https://github.com/tensorchord/Awesome-LLMOps.git
# 或者直接用 GitHub Web 访问
# https://github.com/tensorchord/Awesome-LLMOps
Star 并 Watch 仓库，可接收更新通知。
核心用法
按场景找工具
假设你需要为 RAG 系统选一个向量数据库，进入仓库后定位到 Search → Vector search，会看到：
| 数据库 | 特点 |
|---|---|
| Milvus | 开源向量数据库，支持万亿级向量，支持混合搜索 |
| Qdrant | Rust 实现，高性能，支持过滤，托管版可用 |
| Chroma | 轻量，Python 优先，适合本地快速原型 |
| Weaviate | 支持混合检索（向量+关键词） |
按场景找推理 Serving 方案
定位到 Serving → Frameworks/Servers for Serving，列出：
- vLLM — PagedAttention 管理 KV 缓存，吞吐最高
- Text Generation Inference (TGI) — Hugging Face 官方推理服务器，支持量化
- CTranslate2 — C++ 实现，支持 CPU/GPU 高效推理
- OpenLLM — BentoML 生态，支持多模型一键部署
微调选型
定位到 Training → Foundation Model Fine Tuning / Frameworks for Training：
- Axolotl — 主流微调配置，支持 LoRA/QLoRA/全参数
- LLaMA-Factory — 国产主流，WebUI + 命令行，对中文模型支持好
- PEFT — Hugging Face 官方参数高效微调库
评测基准
定位到 Evaluation 会看到 C-Eval、FlagEval、SuperCLUE、MMLU 等中文/多语评测套件，以及 OpenCompass 评测平台的使用说明。
典型使用场景
场景 1：技术选型调研
项目需要上线 RAG，你需要选向量数据库。在 Awesome-LLMOps 搜索向量数据库分支，对比 Qdrant / Milvus / Chroma 的特性，决策周期从几天缩短到几小时。
场景 2：性能优化排查
模型推理延迟高，进入 Performance 分类找到 TensorRT、vLLM、OpenRLHF 等优化工具，结合具体场景（吞吐优先还是延迟优先）做方案选型。
场景 3：了解行业全貌
刚接触 LLM 应用开发，通读一遍分类树，建立对 LLMOps 生态的全局认知，比零散搜索效率高得多。
坑与注意
- Awesome List 不做深度评测 — 它只列出工具和一句话简介，具体选哪个还需要自行测试，不能直接作为生产决策依据。
- 工具更迭快 — 大模型生态发展迅猛，部分工具可能已停止维护或有重大版本变更，使用前查看 GitHub 最近更新时间（commit activity）。
- 同名工具有多个 — 比如 awesome-llmops 还有一个 KennethanCeyer 维护的版本（不同仓库），内容侧重不同，注意区分。
- 非生产索引 — 这是一个公开的社区贡献列表，不对收录工具的质量和安全性负责，企业使用前需自行安全审计。
与同类对比
| 列表 | Stars | 侧重点 |
|---|---|---|
| tensorchord/Awesome-LLMOps | 5879 | LLMOps 全链路，工具维度分类 |
| KennethanCeyer/awesome-llmops | 较低 | 偏 MLOps 通用 |
| PromptEngineers/llm-books | — | 偏书籍和学习资源 |
tensorchord 版本更新频率更高，涵盖 2023–2026 年的新工具（如 vLLM、LEALLA 等），是当前最完整的 LLMOps 工具地图。
一句话推荐结论
如果你在做 LLM 应用开发，需要快速了解每个环节有什么开源工具可用，Awesome-LLMOps 是目前最值得收藏的「LLMOps 生态全景图」，用它在选型上能节省大量调研时间。
来源：GitHub README (tensorchord/Awesome-LLMOps)、GitHub 仓库页面、Context Awesome 索引