llmengineertoolkit 是一个精心整理的 LLM 工具库清单，按功能分类收录了 120+ 个开源 Python 库，涵盖从模型训练、微调、推理、服务化，到 RAG、Agent、数据提取、评测、安全等完整流程的所有环节。 它的定位是"LLM 全栈工程师的工具箱目录"——不是教你某个库怎么用，而是告诉你做某件事有哪些成熟工具可以选择，让你在立项时快…
仓库攻略
141 篇 · 141 个项目 · jay · 工程化
MLflow 是全球规模最大的开源 AI 工程平台，服务于 agents、LLM 和传统 ML 模型的全生命周期。每月下载量超过 6000 万次，数千家企业将其用于生产级 AI 部署。 在 2026 年的 MLflow 3.x 版本中，它已演化为真正统一的平台，同时覆盖传统 ML、深度学习和生成式 AI 应用。核心四大能力： Prompt Registry（…
Omnigent 是一个开源的 AI Agent 元编排框架（metaharness）：在它之上，你可以同时运行和编排 Claude Code、Codex、Cursor、OpenCode、Pi 以及自己写的自定义 Agent，无需重写任何 Agent 代码。它不是一个新 Agent，而是一个通用的 Agent 管理层——像一层胶水，把各种主流 Agent 产…
aijobsearch 是一个本地运行的 AI 求职框架，以 Claude Code 为核心引擎，把求职的全套流程自动化：搜索职位 → 评估匹配度 → 定制 CV → 写求职信 → 面试准备，全部在你自己机器上跑，数据不经过任何第三方服务器。 核心思路是"drafterreviewer"双 Agent 流水线：drafter 生成内容，reviewer 批判…
Memori 是面向 AI Agent 的记忆基础设施（Agentnative Memory Infrastructure）。它的核心定位是：解决 AI Agent「每次对话从零开始」的根本痛点——让 Agent 不仅记得「说过什么」，更记得「做过什么」，并能将执行过程中的决策、工具调用、结果都结构化地持久化，以便下次调用时精准召回。 与简单的向量数据库检索…
PDFMathTranslate（发布名 pdf2zh）是一个保留排版的 PDF 学术论文翻译工具，能将 PDF 文档完整翻译为双语格式（原文+译文对照）或纯译文，同时保留公式、图表、目录结构、注释等复杂元素不走形。 核心特点： 支持 Google、DeepL、OpenAI、Claude、Ollama、MiniMax 等多种翻译服务 提供 CLI、GUI、D…
Mooncake 是月之暗面（Moonshot AI）为旗下 Kimi 大模型服务开发的生产级 LLM Serving 平台，核心创新是 KVCache 中心化的 PrefillDecode 分离架构（PD 分离），将 LLM 推理的预填充（Prefill）和解码（Decode）阶段拆分到不同集群，并通过利用 GPU 集群中闲置的 CPU DRAM 和 SS…
Xinference（Xorbits Inference）是 xorbitsai 团队开源的统一推理服务平台，一行代码替换 GPT 为任意开源 LLM。它让你在本地、云端或笔记本上运行开源语言模型、语音模型和多模态模型，通过统一的 OpenAI 兼容 API 提供服务。 Xinference 的核心差异化在于：支持最多的推理引擎（vLLM、SGLang、ll…
ColossalAI 是 HPCAI Tech 开源的分布式深度学习训练框架，核心目标是让大模型训练更便宜、更快、更普惠。它整合了多维并行（数据并行、流水线并行、张量并行）、ZeRO 优化、异构训练、FP8 低精度等技术，支持从单卡到大规模 GPU 集群的各类场景。 ColossalAI 最著名的成就是支撑了开源视频生成项目 OpenSora 的训练——让研…
DeepSpeed 是微软开源的深度学习优化库，专为大规模分布式训练和推理而设计。它让训练千亿、万亿参数模型不再是巨头的专利，普通研究团队也能在有限硬件上跑起来。 DeepSpeed 的核心创新是 ZeRO（Zero Redundancy Optimizer） 系列技术，通过分片优化器状态、梯度、参数，大幅降低单 GPU 显存占用。此外还支持 3D 并行（数…
geminicli 是 Google 官方开源的终端 AI Agent 工具，将 Gemini 模型的能力直接带入命令行。简单说：你在终端里敲自然语言，Gemini 替你读写文件、跑 shell 命令、搜网页、执行代码。零配置，开箱即用，免费额度可观（个人 Google 账号 60 请求/分钟，1000 请求/天）。 完全开源（Apache2.0），不绑死在…
system_prompts_leaks 是一个系统提示词泄漏文档仓库（dataset + documentation），持续追踪并公开记录主流 AI 产品和 Agent 工具的系统提示词（System Prompt / System Message）。覆盖范围包括： 每个记录通常包含完整系统提示词原文、更新日期、以及与上一版本的diff 链接。Stars …
内容待复核
binhnguyennus/awesome-scalability · 上手攻略
awesomescalability 是一个系统可扩展性、可靠性与高性能工程实践的精选阅读列表（Stars 72,310），由 binhnguyennus 维护。它的定位不同于纯面试题库——它收集的是业界顶级工程师写的原理性文章、架构决策记录和大厂 case study，是面向"真正做系统"的工程师的资源库。 与 awesomesystemdesignres…
内容待复核
josephmisiti/awesome-machine-learning · 上手攻略
awesomemachinelearning 是机器学习领域最老牌、最全的资源列表之一，由 Joseph Misiti 维护（Stars 73,273，周增 +112）。它按编程语言分类，收录了几乎所有主流机器学习框架、库和工具，堪称 ML 领域的"黄页"。 仓库不提供代码，仅做资源导航，是发现和调研 ML 工具的首选起点。 ⚠️ 注意（2026年4月维护者…
内容待复核
ashishps1/awesome-system-design-resources · 上手攻略
awesomesystemdesignresources 是一个免费系统设计（System Design）学习资源的精选列表，由独立开发者 ashishps1 维护。它不是代码库，而是一个"导航帖"——把散落各处的优质文章、视频、课程、面试题整理成目录，供读者按图索骥。 截至 2026 年，Stars 约 39,494，周增 +119，是系统设计领域增长最快…
Lore 是 Epic Games 开源的新一代版本控制系统，由 Epic Games 的工程师团队开发（Rust 语言，MIT 许可证）。它脱胎于 Epic 内部工具 Unreal Revision Control——曾是《Fortnite》 UEFN（Unreal Editor for Fortnite）创作工具的内置版本控制。2026 年 6 月，Ep…
NirDiamant/GenAI_Agents 是一个 GenAI Agent 教程与实现集合，由 AI 教育博主 Nir Diamant 维护，当前收录 50+ 教程，覆盖从最简单的对话机器人到复杂多 Agent 系统的全谱系。每一个教程都是一个独立的 Jupyter Notebook，包含完整代码、逐步解释和可直接运行的示例。 这不是一个框架，而是一个学…
Oumi 是一个开源的 LLM 全生命周期管理平台，覆盖从数据准备、微调训练、评估评测到部署上线的完整流程。它用统一 CLI（oumi）串联起 Transformers、TRL、vLLM、veRL 等主流训练推理库，让你用同一套配置在不同硬件规模（单卡 135M 到千卡 405B）下无缝切换。 支持 Gemma 4、Qwen3.5、Qwen3.6、GPTos…
UITARSdesktop 是字节跳动开源的多模态 GUI Agent 桌面应用，基于 UITARS 模型。它能像人一样操控电脑（点击、输入、浏览网页），通过视觉理解界面并执行操作。目前支持： Computer Operator：操控本机桌面应用 同属 TARS 项目家族的还有 Agent TARS（终端 CLI + Web UI 版本）。 Stars 37…
BentoML 是一个 Python 库，用于构建和部署 AI 模型推理服务。它将任意 AI/ML 模型的推理代码，通过几行装饰器注解，自动变成可扩展的 HTTP API，并支持 Docker 镜像打包、模型版本管理、动态批处理、多模型编排等生产级特性。 核心理念："Build Model Inference APIs, Job queues, LLM ap…
OpenRLHF 是一个基于 Ray + vLLM 分布式架构的高性能 RLHF（从人类反馈中强化学习）训练框架，同时首创了统一的 Agent 执行范式。它能将 PPO、REINFORCE++、GRPO、RLOO 等 RL 算法，与单轮/多轮 Agent 执行模式自由组合，支持 70B+ 参数模型的分布式训练，并可通过 vLLM 加速生成阶段（RLHF 中耗…
xLLM 是由京东零售团队开发、现托管于 OpenAtom 基金会的高性能 LLM 推理引擎。它不是面向普通用户的 AI 产品，而是给企业级部署场景用的底层 Infra 工具——目标是让大模型的推理在特定 AI 加速器上跑得更快、更划算。 支持的模型类型不只有 LLM，还包括： LLM（大语言模型） VLM（视觉语言模型） DiT（扩散Transformer…
Milvus 是一款高性能、云原生的向量数据库，专为大规模向量 ANN（近似最近邻）搜索场景设计。它能够存储十亿级向量，支持实时插入与查询，广泛用于 AI 应用中的语义搜索、图像检索、RAG（检索增强生成）等场景。 核心特点： 官方提供完全托管云服务 Zilliz Cloud。 1. 向量数据量大时搜索慢 — 传统数据库无法高效做向量相似度搜索，Milvus…
⚠️ 重要注意：该仓库已于 2026 年 6 月 12 日被官方归档（readonly）。本文档如实记录其功能与用法；后续是否由社区 fork 延续请关注 GitHub。已生产使用的项目请评估替代方案（如 Langfuse、vLLM Gateway 等）。 TensorZero 是一个开源 LLMOps 平台，用 Rust 编写，以单一 Docker 容器交…
Ray 是一个统一分布式 AI 计算框架，用于将 Python 和 AI 应用从单机扩展到集群。核心由两部分组成： 一句话定位：让你用同一套 Python 代码，从笔记本无缝扩展到数千节点集群，不需要懂分布式系统。 ML 和 LLM 工作流的三大挑战： 1. 单机算力不够：大模型训练/推理、微调、SFT 需要多机多卡，单机环境无法承载 2. 分布式门槛高：手…
LangBot 是一个生产级的开源 IM 机器人平台，专门用于将大语言模型（LLM）和 Agent 平台连接到主流即时通讯（IM）渠道。用一个统一的代码库，同时把 AI 对话机器人部署到 Discord、Telegram、Slack、QQ、微信、企业微信、飞书、钉钉、LINE、KOOK 等十余个平台，并通过 Web 管理面板进行配置、监控和扩展。 核心特点：…
Outlines（GitHub: dottxtai/outlines，PyPI 包名 outlines）是一个 Python 库，专门解决 LLM 输出结构化数据的问题。由 .txt 团队开发和维护，被 NVIDIA、Cohere、HuggingFace、vLLM 等知名机构信任使用。 核心价值主张：在生成阶段就保证输出格式正确，而不是生成后再用正则、JSO…
LibreChat 是一个开源自托管 AI 聊天平台，核心定位是"统一所有主流 AI provider 的 ChatGPT 增强克隆"。它支持 Anthropic Claude、OpenAI（含 GPT4o / o1 / GPT5）、Azure OpenAI、Google Gemini、AWS Bedrock、DeepSeek、Mistral、OpenRou…
Hermes Agent 是 Nous Research（著名开源模型实验室，代表作 Hermes 系列大模型）推出的自改进型 AI Agent 运行时。它的核心理念是：一个越用越强、能跨会话记住你和你的项目的 Agent。 与单纯调用 API 的聊天机器人不同，Hermes Agent 有以下本质特点： Stars 21.1 万（ trending，周增 …
shanraisshan/claudecodebestpractice 是一个从 Vibe Coding 迈向 Agentic Engineering 的 Claude Code 实践指南库，Stars 62k+，周增 +287，MIT 许可。该仓库不只是技巧罗列，而是按功能分类（Agents、Commands、Skills、Hooks、MCP、Workfl…