Repositories · organized/repo_cards

仓库/Skill 库

199 个 · LLM 基础设施

排序 Stars 周增
ollama/ollama
Go · 2026-07-31 LLM 基础设施 工具 生产可用 Stars 177685 周增 +0

快速上手 Kimi-K2.6、GLM-5.2、MiniMax、DeepSeek、gpt-oss、Qwen、Gemma 等模型Get up and running with Kimi-K2.6, GLM-5.2, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other models.

llm-infra
f/prompts.chat
HTML · 2026-08-11 LLM 基础设施 收藏榜 生产可用 Stars 166980 周增 +112

原名 Awesome ChatGPT Prompts。分享、发现和收集社区提示词,免费且开源,可为你的组织自托管以保障完全隐私。f.k.a. Awesome ChatGPT Prompts. Share, discover, and collect prompts from the community. Free and open source — self-host for your organization with complete privacy.

llm-infra
open-webui/open-webui
Python · 2026-08-11 LLM 基础设施 应用 生产可用 Stars 148436 周增 +294

友好的 AI 交互界面(支持 Ollama、OpenAI API 等)。User-friendly AI Interface (Supports Ollama, OpenAI API, ...)

ragllm-infra
ggml-org/llama.cpp
C++ · 2026-08-03 LLM 基础设施 应用 生产可用 Stars 122572 周增 +0

基于 C/C++ 的 LLM 推理实现LLM inference in C/C++

llm-infra
microsoft/generative-ai-for-beginners
Jupyter Notebook · 2026-08-06 LLM 基础设施 教程 生产可用 Stars 117401 周增 +651

21 节课程,开启生成式 AI 应用开发之旅21 Lessons, Get Started Building with Generative AI

llm-infra
vllm-project/vllm
Python · 2026-08-11 LLM 基础设施 应用 生产可用 Stars 88728 周增 +259

面向 LLM 的高吞吐、内存高效的推理与 serving 引擎。A high-throughput and memory-efficient inference and serving engine for LLMs

llm-infra
mlabonne/llm-course
未知语言 · 2026-02-05 LLM 基础设施 教程 研究原型 Stars 81404 周增 +0

LLM 入门课程,附路线图与 Colab notebookCourse to get into Large Language Models (LLMs) with roadmaps and Colab notebooks.

llm-infra
nomic-ai/gpt4all
C++ · 2025-05-27 LLM 基础设施 工具 生产可用 Stars 77407 周增 +0

GPT4All:在任意设备上运行本地 LLM。开源且可用于商业用途。GPT4All: Run Local LLMs on Any Device. Open-source and available for commercial use.

llm-infra
josephmisiti/awesome-machine-learning
Python · 2026-08-06 LLM 基础设施 收藏榜 生产可用 Stars 73985 周增 +63

一份精选的机器学习框架、库和软件清单。A curated list of awesome Machine Learning frameworks, libraries and software.

binary-husky/gpt_academic
Python · 2026-01-25 LLM 基础设施 应用 生产可用 Stars 71179 周增 +0

为GPT/GLM等LLM大语言模型提供实用化交互接口,特别优化论文阅读/润色/写作体验,模块化设计,支持自定义快捷按钮&函数插件,支持Python和C++等项目剖析&自译解功能,PDF/LaTex论文翻译&总结功能,支持并行问询多种LLM模型,支持chatglm3等本地模型。接入通义千问, deepseekcoder, 讯飞星火, 文心一言, llama2, rwkv, claude2, moss等。

llm-infraengineering
PlexPt/awesome-chatgpt-prompts-zh
未知语言 · 2026-04-28 LLM 基础设施 收藏榜 生产可用 Stars 61423 周增 +84

ChatGPT 中文调教指南。各种场景使用指南。学习怎么让它听你的话。

BerriAI/litellm
Python · 2026-08-11 LLM 基础设施 生产可用 Stars 56075 周增 +259

Python SDK、代理服务器(AI Gateway),以 OpenAI(或原生)格式调用 100+ LLM API,支持成本追踪、guardrails、负载均衡和日志记录。[Bedrock, Azure, OpenAI, VertexAI, Cohere, Anthropic, Sagemaker, HuggingFace, VLLM, NVIDIA NIM]The fastest, litest AI Gateway. Rust core with Python SDK. Call 100+ LLM APIs in OpenAI (or native) format with cost tracking, guardrails, load balancing, and logging [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]

llm-infra
QuantumNous/new-api
Go · 2026-08-10 LLM 基础设施 框架 生产可用 Stars 44852 周增 +154

统一 AI 模型聚合与分发中心,支持将各类 LLM 跨格式转换为 OpenAI 兼容、Claude 兼容或 Gemini 兼容格式,为个人和企业提供集中式模型管理网关。🍥A unified AI model hub for aggregation & distribution. It supports cross-converting various LLMs into OpenAI-compatible, Claude-compatible, or Gemini-compatible formats. A centralized gateway for personal and enterprise model management. 🍥

llm-infra
ray-project/ray
Python · 2026-08-24 LLM 基础设施 框架 生产可用 Stars 43599 周增 +51

Ray 是一个 AI 计算引擎,由核心分布式运行时和一套用于加速 ML 工作负载的 AI 库组成。Ray is an AI compute engine. Ray consists of a core distributed runtime and a set of AI Libraries for accelerating ML workloads.

llm-infraengineering
deepspeedai/DeepSpeed
Python · 2026-08-11 LLM 基础设施 生产可用 Stars 42900 周增 +28

DeepSpeed 是一个深度学习优化库,使分布式训练和推理变得简单、高效且有效。DeepSpeed is a deep learning optimization library that makes distributed training and inference easy, efficient, and effective.

llm-infraengineering
hpcaitech/ColossalAI
Python · 2026-08-10 LLM 基础设施 框架 生产可用 Stars 41433 周增 +21

让大型 AI 模型更便宜、更快速、更易用。Making large AI models cheaper, faster and more accessible

llm-infraengineering
chatanywhere/GPT_API_free
未知语言 · 2026-07-28 LLM 基础设施 工具 生产可用 Stars 40079 周增 +140

免费大模型API,支持免费调用GPT、DeepSeek等主流模型,免费额度10000点,每日刷新!另付费价格最低官方1-2折!

agentllm-infra
Wei-Shaw/sub2api
Go · 2026-08-11 LLM 基础设施 工具 生产可用 Stars 36568 周增 +287

Sub2API 是一款开源中继平台,将 Claude、OpenAI、Gemini 与 Antigravity 订阅统一为单一端点,支持账号共享与费用分摊,兼容原生工具调用。Sub2API 一站式开源中转服务,让 Claude、Openai 、Gemini、Grok订阅统一接入,支持拼车共享,更高效分摊成本,原生工具无缝使用。

songquanpeng/one-api
JavaScript · 2026-01-09 LLM 基础设施 框架 研究原型 Stars 36309 周增 +28

LLM API 管理 & 分发系统,支持 OpenAI、Azure、Anthropic Claude、Google Gemini、DeepSeek、字节豆包、ChatGLM、文心一言、讯飞星火、通义千问、360 智脑、腾讯混元等主流模型,统一 API 适配,可用于 key 管理与二次分发。单可执行文件,提供 Docker 镜像,一键部署,开箱即用。LLM API management & key redistribution system, unifying multiple providers under a single API. Single binary, Docker-ready, with an English UI.

llm-infra
linshenkx/prompt-optimizer
TypeScript · 2026-07-27 LLM 基础设施 工具 实验 Stars 32909 周增 +0

一个 AI 提示词优化器,用于编写更好的提示词并获得更好的 AI 结果。An AI prompt optimizer for writing better prompts and getting better AI results.

llm-infra
datawhalechina/happy-llm
Jupyter Notebook · 2026-08-08 LLM 基础设施 教程 生产可用 Stars 32846 周增 +77

📚 从零开始构建大模型

agentragllm-infra
onyx-dot-app/onyx
Python · 2026-08-20 LLM 基础设施 应用 生产可用 Stars 31688 周增 +106

开源 AI 平台——支持所有 LLM 的 AI Chat,并提供丰富的高级功能。Open Source AI Platform - AI Chat with advanced features that works with every LLM

ragdatabasellm-infra
sgl-project/sglang
Python · 2026-08-11 LLM 基础设施 框架 生产可用 Stars 31657 周增 +203

SGLang 是一个面向大语言模型和多模态模型的高性能 serving 框架。SGLang is a high-performance serving framework for large language models and multimodal models.

multimodalllm-infra
karpathy/llm.c
Cuda · 2025-06-26 LLM 基础设施 应用 实验 Stars 30868 周增 +49

用简单、原生的 C/CUDA 进行 LLM 训练LLM training in simple, raw C/CUDA

llm-infra
lyogavin/airllm
Jupyter Notebook · 2026-08-10 LLM 基础设施 应用 生产可用 Stars 30619 周增 +574

使用单卡 4GB GPU 推理 AirLLM 70BAirLLM 70B inference with single 4GB GPU

llm-infra
cheahjs/free-llm-api-resources
Python · 2026-08-04 LLM 基础设施 应用 生产可用 Stars 29364 周增 +259

通过 API 访问的免费 LLM 推理资源列表。A list of free LLM inference resources accessible via API.

llm-infra
yamadashy/repomix
TypeScript · 2026-08-11 LLM 基础设施 工具 生产可用 Stars 27752 周增 +63

📦 Repomix 是一个强大的工具,能将整个仓库打包为单个对 AI 友好的文件。非常适合需要将代码库喂给 LLM 或其他 AI 工具(如 Claude、ChatGPT、DeepSeek、Perplexity、Gemini、Gemma、Llama、Grok 等)的场景。📦 Repomix is a powerful tool that packs your entire repository into a single, AI-friendly file. Perfect for when you need to feed your codebase to Large Language Models (LLMs) or other AI tools like Claude, ChatGPT, DeepSeek, Perplexity, Gemini, Gemma, Llama, Grok, and more.

llm-infra
facebookresearch/fastText
HTML · 2024-03-22 LLM 基础设施 生产可用 Stars 26547 周增 +0

用于快速文本表示与分类的库。Library for fast text representation and classification.

decolua/9router
JavaScript · 2026-08-05 LLM 基础设施 工具 生产可用 Stars 25148 周增 +154

无限免费 AI 编程。通过 40+ 提供商将 Claude Code、Codex、Cursor、Cline、Copilot、Antigravity 连接至免费的 Claude/GPT/Gemini。支持自动回退,RTK 减少 40% tokens,永不触及限额。Unlimited FREE AI coding. Connect Claude Code, Codex, Cursor, Cline, Copilot, Antigravity to FREE Claude/GPT/Gemini via 40+ providers. Auto-fallback, RTK -40% tokens, never hit limits.

agentllm-infra
liguodongiot/llm-action
HTML · 2026-07-19 LLM 基础设施 教程 生产可用 Stars 24886 周增 +14

本项目旨在分享大模型相关技术原理以及实战经验(大模型工程化、大模型应用落地)

llm-infra
JustVugg/colibri
C · 2026-08-10 LLM 基础设施 工具 生产可用 Stars 23805 周增 +1169

在现有硬件上运行前沿 MoE 模型——纯 C 实现、零依赖、专家权重从磁盘流式加载。轻量引擎,海量模型。🐦Run frontier MoE models on hardware you already own — pure C, zero deps, experts streamed from disk. Tiny engine, immense model. 🐦

Tencent/ncnn
C++ · 2026-08-10 LLM 基础设施 框架 生产可用 Stars 23684 周增 +14

ncnn 是一个为移动平台优化的高性能神经网络推理框架。ncnn is a high-performance neural network inference framework optimized for the mobile platform

llm-infra
dyad-sh/dyad
TypeScript · 2026-08-11 LLM 基础设施 应用 生产可用 Stars 21197 周增 +21

本地化、开源的 AI 应用构建器,面向高级用户 ✨ v0 / Lovable / Replit / Bolt 的替代方案 🌟 喜欢就点 Star!Local, open-source AI app builder for power users ✨ v0 / Lovable / Replit / Bolt alternative 🌟 Star if you like it!

llm-infra
AI4Finance-Foundation/FinGPT
Jupyter Notebook · 2026-08-02 LLM 基础设施 模型 生产可用 Stars 21073 周增 +28

FinGPT:开源金融大语言模型!革命性 🔥 已在 HuggingFace 发布训练好的模型。FinGPT: Open-Source Financial Large Language Models! Revolutionize 🔥 We release the trained model on HuggingFace.

llm-infra
ymcui/Chinese-LLaMA-Alpaca
Python · 2026-04-19 LLM 基础设施 模型 生产可用 Stars 18942 周增 +0

中文LLaMA&Alpaca大语言模型+本地CPU/GPU训练部署 (Chinese LLaMA & Alpaca LLMs)

llm-infra
antirez/ds4
C · 2026-07-03 LLM 基础设施 应用 生产可用 Stars 17465 周增 +315

面向 Metal、CUDA 和 ROCm 的 DeepSeek 4 Flash 与 PRO 本地推理引擎。DeepSeek 4 Flash and PRO local inference engine for Metal, CUDA and ROCm

llm-infra